2013年11月_iteye_20817

原创 Hadoop学习指南

安装配置CDH4(hadoop2.0) 端口CDH4 HA配置官方文档浅谈flume log4j appender部署开发cdh maven仓库 --持续更新

2013-11-26 14:26:58 79

原创 Linux时间、时区一些知识（转）

一、时区 1. 查看当前时区 date -R 2. 修改设置时区方法(1) tzselect 方法(2) 仅限于RedHat Linux 和 CentOS timeconfig 方法(3) 适用于Debian dpkg...

2013-11-26 12:24:04 103

原创 cassandra的事务（1.x，2.x）

1.x2.0行级操作原子性BATCH事务，即一个Batch原子性执行多个DML操作。当一个请求需要操作多个table的时候，它非常有用。添加轻量级事务，避免race condition问题。举例：两个人同时提交相同用户名的注册请求，确认not exist 后，同时提交注册请求。这种情况因为是相同的rowkey（用户名），所以cassandr...

2013-11-22 22:28:28 431

原创 cloudera cdh中hadoop-client包的作用

hadoop-client是为了让开发者可以很方便的使用当前节点hadoop的jar包，ch4版本的hadoop将目录分为“/usr/lib/hadoop-hdfs”、“/usr/lib/hadoop-mapreduce”，“/usr/lib/hadoop-yarn”等多个目录，这样引用jar包也会比较麻烦。通过yum安装hadoop-client后会生成软链接： MRv1：/usr/...

2013-11-22 22:12:14 919

原创正确使用java -cp通配符

JDK6支持java -cp后面跟通配符'*'，试了一下发现还是需要注意：错误方式（Wrong way）：java -cp /data/apps/lib/*.jar com.chinacache.Main或者java -cp /data/apps/ilb/ com.chinacache.Main 正确方式（right way）：java -cp /data...

2013-11-21 17:05:32 1369

原创 CDH4.4 HA使用感受

HA配置安装Cloudera CDH4 官方文档配置，还算顺利，地址如下： http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-High-Availability-Guide/CDH4-High-Availability-Guide.html 集群环境我没有配置f...

2013-11-19 15:14:08 222

原创 could only be replicated to 0 nodes instead of minReplication (=1)

一、出现这个错误，先看看DN是不是正常启动并与NN通信，使用如下命令： sudo -u hdfs hadoop dfsadmin -report 二、如果DN已经正常启动，则要hdfs-site.xml文件dfs.replication配置是否大于DN数量，三、如果问题还没有解决，则要检查iptables（开放DN 50010和NN 8020端口）是否正常。 ...

2013-11-18 17:02:18 673

原创强制Java使用东八时区方法

今天线上有台服务器时区错误，导致很多使用new Date的Java程序都出现时间错误。关于时间的故事是这样的，此时此刻我们和美国人的时间戳都是一样的，都是从1970-1-1 0:0:0开始，只是因为我们的时区不同，所以时间的表现形式不一样。所以当时区出问题时，即使我们的时间是正确的使用Date对象的时候也会出问题。解决办法有两种：方法一java -Duser.time...

2013-11-15 15:37:25 2358

原创 Hadoop Pig获取HDFS文件名

A = LOAD 'input' using PigStorage(',','-tagsource'); B = foreach A generate $0; PigStorage构造函数第一个参数是分隔符，第二个参数如果为“-tagsource”则会在A第一列放置文件名信息。参考：http://pig.apache.org/docs/r0.11.0/api/org/...

2013-11-15 08:37:38 258

原创查看文件中不可见字符

有个数据文件，按行读取的时候总是出错，明明一行读取出来确实两行，文件如下：打开UltraEdit 16进程查看，得出原因：第二行的http://后面出现了一个0D的16进制符号，这个符号是“\r”，即回车符的意思，程序处理遇到\r会认为换行，所以一行会变成两行。 vi下也可以看到不可见字符，输入命令“:set list” --end ...

2013-11-11 09:17:22 3077

原创 cassandra升级JDK6到JDK7出现一个启动错误

启动cassandra时候，报如下错误：The stack size specified is too small, Specify at least 228k 打开文件“vi cassandra-env.sh”，修改如下行 JVM_OPTS="$JVM_OPTS -Xss230k" 改为 JVM_OPTS="$JVM_OPTS -Xss228k" JDK7启动对x...

2013-11-05 08:37:18 168

原创 cloudera CDH5正式版（与CDH4比较）

要求JDK7以上，JDK6不被支持基于apache hadoop2.2稳定版 YARN(MR2) 推荐使用（具备生成环境使用条件），MR1和MR2同时被支持 HDFS快照（ Snapshots）集成Spark Resource Manager HA ...

2013-11-04 22:14:26 427

The Big Data Way