大数据
不想飞的天鹅
喜交天下好友
展开
-
安装好hadoop集群后,报错如下n org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /data/hadoop-roo
master错误:norg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /data/hadoop-root-namenode-master.log._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). Ther原创 2017-06-07 22:35:16 · 3843 阅读 · 0 评论 -
hadoop学习1 java操作HDFS
1、创建目录package hdfs.operation;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;pu原创 2017-06-10 15:52:19 · 225 阅读 · 0 评论 -
hadoop学习2 记录配置hadoop环境的那些坑
1、在你的学习阶段,记住先关闭防火墙。 centos: systemctl stop firewalled.service2、windows本地配置eclipse,远程调测阶段: 第一: 还是先关闭防火墙 第二: 本地配置文件位置放对 第三: 配置的时候端口和master Ip不要弄错 第四: 最为关键的是: h原创 2017-06-10 15:53:01 · 251 阅读 · 0 评论 -
hadoop学习3 查找块的位置
1、hadoop会以块的形式存储在HDFS系统。通过命令可以查看所在节点和块的位置:[root@master softpackage]# hadoop fs -put scala-2.10.4.tgz /[root@master softpackage]# hadoop fsck /scala-2.10.4.tgz -files -locations -blocksDEPRECA原创 2017-06-10 15:53:46 · 1903 阅读 · 0 评论 -
hadoop学习4 调测错误备案
0、An internal error occurred during: "Map/Reduce location status updater". java.lang.NullPointerException解决方法: 关闭防火墙1、Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop原创 2017-06-10 17:00:49 · 328 阅读 · 0 评论 -
hadoop学习5 搭建storm集群
参阅:http://www.cnblogs.com/freeweb/p/5179410.html 非常感谢注意集群的启动顺序以及概念。整体比较顺利,出现了下面一个小问题: at clojure.lang.RT.load(RT.java:436) at clojure.lang.RT.load(RT.java:412) at clojure.core$load$fn原创 2017-06-10 23:58:12 · 404 阅读 · 0 评论 -
hadoop学习6 运行map reduce出错
1、一直处理running状态2、 at com.sun.proxy.$Proxy14.submitApplication(Unknown Source)at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.submitApplication(YarnClientImpl.java:253)at org.apache.hado原创 2017-06-12 22:36:45 · 1101 阅读 · 0 评论 -
kafka学习-环境搭建
1、几行命令./kafka-console-consumer.sh --zookeeper 192.168.86.133:2181,192.168.86.132:2181,192.168.86.134:2181 --topic shuaige --from-beginning./kafka-console-producer.sh --broker-list 192.168.86.1原创 2017-06-24 23:40:15 · 1218 阅读 · 0 评论