hadoop
文章平均质量分 78
smallboy2011
这个作者很懒,什么都没留下…
展开
-
hadoop2.2.0 HA启动时出现了两个standy的Namenode,没有出现active的Namenode
2014-07-20 15:21:16,913 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop2 (auth:SIMPLE) cause:org.apache.hadoop.ipc.StandbyException: Operation category JOUR原创 2014-07-20 15:23:01 · 6715 阅读 · 2 评论 -
hadoop中大数据全排序
知识点:数据采样:InputSampler.RandomSampler分区:TotalOrderPartitioner自定义InputFormatMyKeyValueTextInputFormat网上其他类似的程序直接使用KeyValueTextInputFormat。我在使用的时候发现,数据最后是按照字典序排序的,并没有做到全排序。原因可能是默认的KeyValue原创 2017-06-07 16:18:28 · 1570 阅读 · 0 评论 -
sqoop报错。
使用的sqoop是1.4.4.mysql是5.6.hadoop是2.2.0原创 2014-08-16 11:25:07 · 1139 阅读 · 0 评论 -
在Eclipse中远程调试Hadoop
我部署了一个Hadoop集群,但是在运行过程中总是会遇到各式的问题,虽然可以通过加一些Log来查看出错信息,但总是不太直观,并且也比较繁琐。因此最好能远程单步调试Hadoop。在Hadoop中,一般常用的模块有:JobTracker、NameNode、DataNode、TaskTracker、JobClient、JobShell、FsShell、MapReduce等。那如何使用Eclips转载 2014-08-29 15:23:14 · 622 阅读 · 0 评论 -
sqoop1.4.4导出mysql数据到hadoop1.2.1集群出现的问题
[hadoop1@slave02 sqoop-1.4.4]$ ./bin/sqoop import --connect jdbc:mysql://localhost/hadoopguide --table widgets -username root -password rootWarning: /usr/lib/hbase does not exist! HBase imports will原创 2014-08-16 12:48:46 · 722 阅读 · 0 评论 -
sqoop找不到mysql驱动
[hadoop2@slave02 ~]$ sqoop import --connect jdbc:mysql://slave02/hadoopguide --table widgets -m 1Warning: /usr/lib/hbase does not exist! HBase imports will fail.Please set $HBASE_HOME to the root原创 2014-08-13 22:35:05 · 4708 阅读 · 1 评论 -
cenos6.4下启动apache服务
正在启动 httpd:httpd: Could not reliably determine the server's fullyqualified domain name, using localhost.localdomain forServerName(98)Address already in use: make_sock: could not bind to address[::]:原创 2014-08-23 16:07:45 · 421 阅读 · 0 评论 -
hadoop2.2.0 HA中active的namenode死掉了
2014-07-19 21:55:49,823 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 15414 ms (timeout=20000 ms) for a response for sendEdits. Succeeded so far: [192.168.1.202:8485]2014-原创 2014-07-19 22:15:45 · 2778 阅读 · 0 评论 -
hadoop2.2.0中遇到的错误
2014-07-19 12:37:36,071 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: For namenode slave01/192.168.1.200:8020 using DELETEREPORT_INTERVAL of 300000 msec BLOCKREPORT_INTERVAL of 21600000msec I原创 2014-07-19 13:49:22 · 1070 阅读 · 0 评论 -
flume中的断点续传
网上能找到很多同一版本的代码示例,如下:/usr/local/bin/tail -n +$(tail -n1 /home/storm/tmp/n) --max-unchanged-stats=600 -F /home/storm/tmp/id.txt | awk 'ARNGIND==1{i=$0;next}{i++; if($0~/文件已截断/)i=0; print i >> "/home原创 2017-06-13 11:38:19 · 2243 阅读 · 1 评论