hadoop
黑肚皮的窝
这个作者很懒,什么都没留下…
展开
-
hadoop升级
首先停机,更新namenode,datanode上hadoop,然后namenode节点上进行: 915 hadoop namenode -upgrade 916 hadoop namenode -rollback 917 hadoop namenode -upgrade 918 hadoop dfsadmin -finalizeUpgrade 91原创 2013-03-22 18:20:34 · 2050 阅读 · 0 评论 -
hadoop eyes开发进度
有了hadoop集群后,对集群的作业指标进行统计,很多时候只能凭借jobtracker的日志界面进行查看。但日志界面没有历史趋势等统计功能。给数据平台的管理计费,和作业情况,会造成很大的困扰。特别是历史作业趋势和实时作业运行情况,对于拥有大数据计算集群的公司来说,非常重要。为解决这个问题,我们结合本公司内部的数据集群使用,采用python+flume+pig+mysql+php对集群情况做原创 2015-09-06 18:25:46 · 2387 阅读 · 0 评论 -
Zookeeper实践2:命令行及联想
zookeeper作用很大,我们先来实践一下。当然先不用java,不用编程,就命令行。首先用客户端工具连接zk:zookeeper-3.4.6/bin/zkCli.sh -server localhost:2181进入提示符,列目录:[zk: localhost:2181(CONNECTED) 0] ls /[zookeeper]查看当前节点数据并能看到更新次数等数据。[zk: localhost原创 2015-06-30 18:34:27 · 2505 阅读 · 0 评论 -
Pig优化之路之巧用Macro
问题: 去年用Pig进行了一系列报表和ETL的开发,感觉Pig很不错,没有Hive的娇贵,又比粗糙的MapReduce来的精巧,很称手。新年正好涉及以前的程序调整,借此之机,对Pig写的脚本进行了优化。毕竟,越用越熟,越能发现Pig的魅力。 在整理以前的Pig程序里,发现了一个问题,就是pig没有提取数据集大小的功能,所以每次要取数据集条数的工作,总会遗留下如下代码:curr原创 2015-01-09 16:14:07 · 1874 阅读 · 0 评论 -
Pig年末数据失败之谜
Pig年末数据失败之谜.有个好好的作业,每月都原创 2014-11-04 19:19:25 · 810 阅读 · 0 评论 -
hadoop故障一例
2014-07-21 10:12:31,098 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.protocol.UnregisteredDatanodeException: Data node node-114-原创 2014-07-21 10:58:31 · 1332 阅读 · 2 评论 -
hadoop的datanode新建异常处理
新部署一个节点。部署完毕后,启动datanode,没起来,错误如下:STARTUP_MSG: Starting DataNodeSTARTUP_MSG: host = node-128-99/192.168.1.99STARTUP_MSG: args = []STARTUP_MSG: version = 1.1.2STARTUP_MSG: build = https:/原创 2013-12-06 17:26:50 · 1494 阅读 · 0 评论 -
ganglia的疑难杂症
配置ganglia系统,发现配置的2个分组里只出现一个。跟踪错误日志如下:/usr/sbin/gmetad[9290]: data_thread() got no answer from any [bf_hbase] datasource但另一个分组没问题。百思不得其解.灵光一闪,由于是多播,只要求配置端口就ok,配置文件如下:data_source "bf_names"原创 2013-11-28 11:23:05 · 2867 阅读 · 0 评论 -
hadoop的"mapred.ReduceTask: java.net.ConnectException: Connection timed out"问题解决
hadoop MR超时问题解决原创 2013-11-08 10:43:52 · 2988 阅读 · 0 评论 -
hadoop SNN故障解决
集群上线一阵子了。发现SNN 日志有如下问题:2013-10-28 16:38:16,280 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Opening connection to http://0.0.0.0:50070/getimage?getimage=12013-10-28 16:38:16,281 ER原创 2013-10-28 17:33:13 · 3470 阅读 · 0 评论 -
hadoop的datanode异常结束
集群datanode节点挂掉一个。错误如下:2013-11-18 02:01:13,730 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.1.190:50010, storageID=DS-155659652-192.168.1.190-50010-138361974046原创 2013-11-18 15:39:42 · 10135 阅读 · 0 评论 -
Hive HA使用说明
hive让大数据飞了起来,不再需要专人写MR。平常我们都可以用基于thrift的任意语言来调用hive.不过爱恨各半,hive的thrift不稳定也是出了名的。很容易就出问题,让人无计可施。唯一的办法就是不断kill,不断restart.当然,我们可以用haproxy来解决这个问题,关键,haproxy不管hive是否逻辑可用,不能执行逻辑的hive也“死马当活马”。当然,搞的好的原创 2013-09-05 15:33:35 · 6084 阅读 · 2 评论 -
hadoop的集群copy
hadoop不同版本之间的集群复制。1.基础使用hadoop distcp 来进行集群间的数据复制。2.实战如果两个集群之间版本不一样,应该这样来复制。hadoop distcp hftp://source/source hdfs://dest:9000/source为啥是hftp呢,因为不同版本rpc不太一样。如果一个集群闲置,尽量使用它的MR能力。有一个要注原创 2013-09-05 15:05:21 · 4242 阅读 · 1 评论 -
sqoop错误解决
./sqoop import --connect jdbc:mysql://localhost:3306/xxxx --username dba --password 123456 --direct --table ehm_hosts --target-dir /data/ehm_hosts -m1 出现错误: java.net.ConnectExcept原创 2013-06-25 16:51:21 · 32827 阅读 · 1 评论 -
hbase->phoenix不得不说的故事之一
用hbase来接收数据,phoenix进行sql统计,看起来很美好,实际波折很多。首先建表 CREATE TABLE m_interface_job( data.pk_log VARCHAR ,.......... id INTEGER not null primary key) ;用hbase插入,发现 select id,* from原创 2013-06-17 17:21:09 · 7826 阅读 · 3 评论 -
hadoop配置新节点后,出现 org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible n
配置haoop的datanode,启动后,tasktracker正常,datanode出错。 org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in解决方法:删除datanode的datadir,重启datanode,好了!原创 2013-03-25 17:20:28 · 1998 阅读 · 0 评论 -
Cloudera manager API的坑
使用python的api进行cloudera的api,调用。像这样。from cm_api.api_client import ApiResourceapi = ApiResource(CM_HOST, username=CM_USER, password=CM_PASSWD)api.get_all_clusters()结果如下: clist = api.get_al原创 2015-11-27 18:34:27 · 6192 阅读 · 1 评论