- 博客(48)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 【shell】构造并遍历二位数组的一种用法
参考shell数组的部分操作用法，实现了构造和遍历二维数组的一种方式，具体如下:#数组元素以空格分割sites=("www.a.com www.b.com www.c.com www.d.com" "www.e.cn www.f.cn")n_sites=${#sites[*]} #获取一维sites的数组长度for ((i=0;i<$n_sites;i++));do
2014-05-30 15:43:13
2029
转载 Sqoop的安装与使用
Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图以下操作就是使用sqoop在mysql和hdfs之间转换数据。1.安装我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz，打算安装在/usr/local目录下。首先就是解压缩，重命名为sqoop，然后在文件/etc/profile中设置
2014-05-29 16:36:13
624
转载 GitHub使用elasticsearch遇到的一些问题及解决方法
GitHub使用elasticsearch遇到的一些问题及解决方法GitHub此前的搜索使用Solr实现，新上线的搜索基于elasticsearch，运行在多个集群上。由于代码搜索索引很大，GitHub专门为其指定了一个集群。目前该集群包括26个存储节点和8个客户端节点。存储节点负责保存构成搜索索引的数据，而客户端节点负责协调查询活动。每个搜索节点中有2TB的SSD存储。
2014-05-29 13:11:46
1386
转载 LINUX任务(jobs)详解 (转)
LINUX任务(jobs)详解在用管理员执行一个命令后，用Ctrl+Z把命令转移到了后台。导致无法退出root的。输入命令：exit终端显示：There are stopped jobs.解决方法：方法一、输入命令：jobs终端显示：[1]+ Stopped vim /etc/network/interfaces > /home/leo/Desktop/
2014-05-28 23:42:57
692
转载 Kibana和logstash快速搭建实时日志查询、收集与分析系统
Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。kibana 也是一个开源和免费的工具，他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面说到这里，我们
2014-05-27 17:37:08
802
转载 用 elasticsearch 和 logstash 为数十亿次客户搜索提供服务
今天非常高兴的欢迎我们的第一个外来博主，Rackspace软件开发工程师，目前为Mailgun工作的Ralph Meijer。我们在 Monitorama EU 会面后，Ralph 提出可以给我们写一篇 Mailgun 里如何使用 Elasticsearch 的文章。他本人也早就活跃在 Elasticsearch 社区，经常参加我们在荷兰的聚会了。Mailgun 收发大量电子邮
2014-05-27 17:22:06
2073
转载 ElasticSearch的各种服务的URL(转)
前言elasticsearch 将各种功能、配置、服务都以API的形式暴露，这也是elasticsearch区别于其他搜索引擎框架的一个特征。这几天在看一个elasticsearch的培训资料，将资料中提到的URL单独罗列了出来。索引相关URL说明/index/_search不解释/_aliases获取或操作索引的别名
2014-05-27 14:46:06
852
转载 ElasticSearch 原理笔记
设计原理看ElasticSearch作者Shay Banon的PPT就可以了 The Road to a Distributed, (Near) Real Time, Search EngineShay Banon - @kimchyhttps://speakerdeck.com/kimchy/the-road-to-a-distributed-search-eng
2014-05-27 14:41:24
1418
转载 ElasticSearch入门笔记
lasticSearch 是构建在Apache Lucene之上的的搜索引擎服务，开源（Apache2协议），分布式，RESTful。安装方便，使用简单。官方站点：http://www.elasticsearch.com/中文站点：http://es-cn.medcl.net/1.安装必须先安装Java环境，并设置 JAVA_HOME => C:\Program Fil
2014-05-27 14:03:38
654
转载 Linux curl使用简单介绍
Curl是Linux下一个很强大的http命令行工具，其功能十分强大。1) 二话不说，先从这里开始吧！$ curl http://www.linuxidc.com回车之后，www.linuxidc.com 的html就稀里哗啦地显示在屏幕上了 ~2) 嗯，要想把读过来页面存下来，是不是要这样呢？$ curl http://www.linuxidc.co
2014-05-27 10:00:17
430
转载 linux系统打开文件数过多的解决办法
一.永久生效.1. /etc/pam.d/login 添加 session required /lib/security/pam_limits.so2. /etc/security/limits.conf 添加 * soft nofile 65536 * hard nofile 655363.vi /etc/sysctl.conf 添加
2014-05-26 19:57:32
4838
转载 Linux vmstat命令实战详解
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。一般vmst
2014-05-26 14:37:19
409
转载 nmon监控Linux服务器系统资源
在实际的测试过程中，Loadrunner监控Linux系统资源不太稳定，经常断开，所以一般采用下面的工具进行监控。下载地址：http://download.csdn.net/detail/hyzhou1121/3980069 nmon工具 nmon工具是IBM提供的免费的监控AIX系统与Linux系统资源的工具。该工具可将服务器的系统资源耗用情况收集起来并输出一个特定的
2014-05-26 13:56:04
676
转载 hbase基本概念和hbase shell常用命令用法
1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。2. HBase的表结构HBase以表的
2014-05-25 19:43:24
502
转载 什么是EPEL 及 Centos上安装EPEL
RHEL以及他的衍生发行版如CentOS、Scientific Linux为了稳定，官方的rpm repository提供的rpm包往往是很滞后的，当然了，这样做这是无可厚非的，毕竟这是服务器版本，安全稳定是重点，官方的rpm repository提供的rpm包也不够丰富，很多时候需要自己编译那太辛苦了，而EPEL恰恰可以解决这两方面的问题。什么是EPEL?EPEL的全称叫 Ext
2014-05-24 10:28:31
513
转载 Java的ClassLoader与Package机制(Prohibited package name:XXX)
如遇到这个问题： Prohibited package name:则可参考以下文章：为了深入了解Java的ClassLoader机制，我们先来做以下实验：package java.lang;public class Test { public static void main(String[] args) { char[] c = "
2014-05-23 21:58:50
681
转载 Hadoop管理员的十个最佳实践
转载自：http://www.infoq.com/cn/articles/hadoop-ten-best-practice前言接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。
2014-05-23 21:10:53
394
原创 CentOS安装配置ganglia
1. 下载ganglia源码包并解压[python] view plaincopywget http://sourceforge.net/projects/ganglia/files/ganglia%20monitoring%20core/3.1.1%20%28Wien%29/ganglia-3.1.1.tar.gz/downl
2014-05-23 17:31:40
494
转载 史上最强的Vim 配置文件（修正版）
史上最强的vimrc文件,据说有800行,还是作者精简后的结果.我在尽可能保留原作者的创意的前提下做了些小的修正,主要的修改如下: 增加了对win32系统的兼容,原来的vimrc文件只兼容linux和mac修正了一些快捷键,例如ctr-q被原作者用来搜索buffer,用过win32版本vim的都知道ctrl-q被用来作为块编辑的快捷键,所以ctrl-q是
2014-05-22 17:23:28
673
原创 hbase分布式部署过程
1 cd /home2 将hbase-0.90.5.tar.gz 拷贝到此目录下3 解压tar xzvf hbase-0.90.5.tar.gz cd hbase-0.90.5/conf4 配置hbase-env.sh文件vim hbase-env.sh export JAVA_HOME=/home/mdrill/jdk1.7.0_15export HB
2014-05-22 10:46:05
550
转载 SolrCloud 4.3.1+Tomcat 7安装配置实践
我们使用Solr Replication可以实现Solr服务器的可用性，即使某一个索引副本由于磁盘介质故障或者误操作删除等，其他的多个复制副本仍然可以提供服务。如果只是单纯的基于Solr Replication技术，只能对一个索引进行管理维护，当索引数据达到一定规模，搜索的性能成了瓶颈，除了重新规划设计索引，实现逻辑划分以外，没有更好地方法实现查询服务器的可扩展性。SolrCloud就是为了解
2014-05-21 17:13:37
558
转载 将Storm源码导入Eclipse
1. 从GitHub上下载源码在本地文件夹建立一个叫storm-source的文件夹，将代码用git拖下来，最新的代码已经转移到https://github.com/apache/incubator-stormgit clone git://git.apache.org/incubator-storm.git http方式：git clone https://github.
2014-05-20 12:11:08
1508
转载 【Storm入门指南】第二章 入门实例
【Storm入门指南】第二章 入门实例文章目录2.1 运行模式2.1.1 本地模式2.1.2 远程模式2.2 Storm，你好！2.2.1 检查Java安装2.2.2 创建工程2.3 创建第一个 Topology2.3.1 Spout2.3.2 Bolts2.3.3 Main Class2.3.4 查看结果2.4
2014-05-20 11:38:01
699
转载 职业规划
作为一个程序员，应该时刻保持一个学习的心态，然而也应该知道取舍。知道自己的大方向是什么，知道应该学习什么，要时刻牢记自己的大方向。我规划了下我的职业生涯，主要的目标是： 1)精通Java技术，主要体现在一下几方面： 第一，精通JVM调优，熟悉JVM规范，JMM规范。 第二，精通多线程，socket开发，这方面可以多看看netty或mina源
2014-05-18 23:26:20
420
转载 Storm常见模式——分布式RPC
Storm常见模式——分布式RPC本文翻译自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作为学习Storm DRPC的资料，转载必须以超链接形式标明文章原始出处及本文翻译链接。分布式RPC（distributed RPC，DRPC）用于对Storm上大量的函数调用进行并行计算过程。对于每一次函数调用，Sto
2014-05-18 21:39:26
482
转载 Java日期循环，Java获取当月的第一天和最后一天
1、Java日期循环 SimpleDateFormat formater = new SimpleDateFormat("yyyy-MM-dd"); String dateStr1="2008-3-16"; String dateStr2="2008-3-24"; java.util.Date dateBegin=forma
2014-05-15 20:06:51
907
转载 oracle数据类型
有道是，磨刀不误砍柴工。多了解一些底层的东西，对于Oracle开发、维护大有裨益。个人总结了一些Oracle数据类型集解，相信读者阅读了本文以后，Oracle数据库开发起来会事半功倍！在Oracle数据库中，每个关系表都由许多列组成。给每一列指派特定的数据类型来定义将在这个列中存储得数据类型。1、CHAR最多可以以固定长度的格式存储2000个字符或字节。默认指定为以字符形式
2014-05-15 15:26:56
423
转载 解决Eclipse和MyEclipsejava.lang.OutOfMemoryError Java heap space的错误
Eclipse和MyEclipse出现错误：java.lang.OutOfMemoryError: Java heap space的错误，很熟悉的错误信息，可咋就想不起来在哪里设JVM的参数啊。请看下面： 1，从Intalled JREs里修改；window->Preferences->Java->InstalledJREs，选择当前的JRE，然后edit它；在新窗口里设置Defaul
2014-05-15 14:36:13
662
转载 Twitter Storm安装配置（集群）笔记
Twitter Storm的单机版安装配置已经在上一篇笔记中写的很清楚了：http://blog.csdn.net/jsjwk/article/details/8140456 本篇幅主要是讲述在单机版本的基础上扩展成为集群。集群中所有的机器都需要安装与单机版一样的所需工具软件：python、zookeeper、zeromq、jzmq、storm将上述
2014-05-13 19:08:37
485
转载 ZooKeeper-3.3.4集群安装配置
ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在
2014-05-13 18:40:32
448
转载 CentOS设置 java使用自己配置jdk1.7 不用openJDK
1.下载jdk-7-linux-x64.rpm(http://www.Oracle.com/technetwork/java/javase/downloads/java-se-jdk-7-download-432154.html)2. su切换到root权限 3. /usr/java/jdk1.7.0 rpm -ivh jdk-7-linux-x64.rpm，默认安装路径为 /u
2014-05-13 08:48:04
1370
转载 Hadoop 常用命令
* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr
2014-05-12 20:46:50
464
转载 更改 centos yum 源
centos下可以通过yum很方便快捷的安装所需的软件和库，如果yum的源不好，安装速度会非常慢，centos默认官方源似乎都是国外的，所以速度无法保证，我一直使用163的源，感觉速度不错。下面就说说如何修改yum的源。1、进入存放源配置的文件夹cd /etc/yum.repos.d2、备份默认源mv ./CentOS-Base.repo ./CentOS-Base.repo.bak
2014-05-11 16:24:21
448
转载 CentOS 6.0 安装 Atheros ar8151 网卡驱动
公司的外包部门的ftp服务器，主板是技嘉H61的，安装完成CentOS 6.0，发现没有网卡驱动，打开说明书，网卡是Atheros ar8151。1. 下载 AR81Family-linux-v1.0.1.14.tar.gz2. 用U盘将文件拷贝到/usr/loal/srccp /mnt/AR81Family-linux-v1.0.1.14.tar.gz /usr/local/
2014-05-10 15:47:51
1059
转载 Linux(CentOS)挂载U盘、移动硬盘以及文件拷贝、备份
1.U盘挂载mkdir /mnt/usb //创建一个目录，用于挂载U盘fdisk -l //查看系统中挂载的U盘，若系统有一块硬盘sdb1 代表你的U盘,/dev/sdb1表明机器已识别U盘mount /dev/sdb1 /mnt/usb //把U盘/dev/sdb1挂载到/mnt/usb目录下cd /mnt/usb //进入U盘目录，即
2014-05-10 11:40:06
921
转载 centos 6.2安装ar8152网卡驱动
centos 6.2安装ar8152网卡驱动刚安装好来centos 6.2， 发现无法联网，我下意识反应：没网卡驱动。真的很蛋疼。好吧，只能自己安装了。由于不能联网，如果在安装网卡驱动过程中发现有依赖包没有找到，可以利用yum在本地源搜索安装，具体查看：1、查看网卡型号lspci | grep Ethernet lspci | grep Ethernet
2014-05-10 11:32:12
2387
转载 CentOS 6.3设置静态IP教程
CentOS 6.3设置静态IP教程 局域网里有台安装有CentOS6.3的电脑，掉电或重启，它的IP会被DHCP重新分配，如果要远程控制这台电脑，不得不去打开显示器去查看它的新IP，这样太麻烦了。于是需要将这台电脑的IP设置成静态的。（1）找到/etc/sysconfig/network-scripts/ifcfg-eth0这个文件，如果没有就创建一个，内容如下
2014-05-09 12:12:09
570
转载 CentOS搭建局域网yum服务器
前一段时间在宁夏电信搭建服务器环境，用到的系统版本是centos6.4。现场的环境大致是：服务器使用私网环境，服务器与服务器之间可以互联互通。由于要安装heartbeat，磁盘阵列的多路合并软件，vsftp，nginx等，这些软件的编译和安装过程中会涉及很多很多依赖，在没有外网环境的情况下，去装依赖包是个相当痛苦的事情。但是按照传统的挂载光盘的方法又显得太笨拙，所以想通过搭建一个yum服务器，让其
2014-05-09 07:49:19
742
转载 map reduce相关程序
Test_1.java/** * Hadoop网络课程模板程序 * 编写者：James */ import java.io.IOException;import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoo
2014-05-08 00:13:55
463
转载 eclipse下提交job时报错mapred.JobClient: No job jar file set. User classes may not be found.
windows下，连接远程集群，直接在eclipse里运行mapreduce作业时，错误信息：11/10/14 13:52:07 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.11
2014-05-07 18:09:26
685
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人