hadoop
_自由之子_
这个作者很懒,什么都没留下…
展开
-
hadoop里的hdfs datanode 不能启动的问题
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:477) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:226)原创 2016-10-21 12:02:13 · 701 阅读 · 0 评论 -
hadoop ha 只能同时启动一个namenode问题的解决方案
启动一个,另外一个就自动退出了。。后来发现是我配置文件的问题:1. hdfs-site.xml 里缺少如下配置,这是关于HA的<property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailo原创 2016-10-21 15:36:41 · 5194 阅读 · 2 评论 -
hadoop yarn HA 配置 错误 The HA Configuration has multiple addresses that match local node's address
报错如下 org.apache.hadoop.HadoopIllegalArgumentException: The HA Configuration has multiple addresses that match local node's address.仔细检查发现,确实有多个重复的服务器定义文件在yarn-site.xml里 第二个resourcemanager服务器的地址应该是另外一个原创 2016-10-22 13:18:10 · 1782 阅读 · 0 评论 -
eclipse 使用 hadoop plugin 插件 连接不上的问题 updater".java.lang.NullPointerException
错误提示如下,我确定使用的端口和防火墙等都是正常的"Map/Reduce location status updater".java.lang.NullPointerException最后在国外看到原因是因为我没有新建根目录,导致程序没有办法去读信息所以我在namenode接点上运行命令,新建立了一个目录hdfs dfs -mkdir -p ~/first然后在插件里选择reconnect,就OK了原创 2016-10-22 16:05:49 · 2604 阅读 · 4 评论 -
hadoop 本机环境开发调试注意事项
这里的本地开发环境是指,我自己有虚拟机搭建的HADOOP环境,但是我想在windows的环境上开发调试hadoop程序,这里HDFS的文件读取和输出还是放在linux虚拟机上,但是程序是跑在windows上的hadoop环境里的运行的代码头部加入System.setProperty("HADOOP_USER_NAME", "root");2.windows环境变量里加入本地hadoop的路径HA原创 2016-10-23 15:45:09 · 2082 阅读 · 0 评论 -
Hadoop 执行 hdfs namenode -format报错
错误如下Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode按照网上说的办法,加入各种环境变量也没有,最后发现不是环境变量的问题,而是我把hadoop按照文件夹里的share/hadoop文件整个给删掉了。。所以不能执行,从安装包里手动copy一份出来,问题解决原创 2016-10-16 16:20:11 · 5834 阅读 · 0 评论 -
Hadoop 执行 start-dfs.sh Error: JAVA_HOME is not set and could not be found
原因是SSH远程执行的时候,读取不到环境变量,只有,手工设定了去安装目录里的etc/hadoop/hadoop-env.sh # set to the root of your Java installation export JAVA_HOME=/usr/java/latest # Assuming your installation directory is /usr/local/had原创 2016-10-16 16:50:28 · 904 阅读 · 0 评论 -
Hadoop 错误 Problem connecting to server: localhost/127.0.0.1:9000
日志里显示如下 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=10原创 2016-10-16 17:11:31 · 9695 阅读 · 2 评论 -
Hadoop 面试思考
敏感场合下的大规模数据如何安全传输,比如跨国。数据清洗是怎么做的trigger是如何设置的,如何自动触发数据分析流程?数据存储的规模 还有那些需要注意的地方?原创 2016-11-12 10:09:49 · 219 阅读 · 0 评论