Hadoop
冰玉翔龙
这个作者很懒,什么都没留下…
展开
-
Does not contain a valid host:port authority: file:///
[url=http://blog.csdn.net/xtj332/article/details/40350845]Does not contain a valid host:port authority: file:///[/url]在进行[color=green]伪分布式Hadoop配置[/color]时出现信息如下:[img]http://dl2.iteye.com/uplo...原创 2015-03-08 15:15:23 · 311 阅读 · 0 评论 -
could only be replicated to 0 nodes, instead of 1
用三台Linux搭建hadoop环境时出错,master主机部分信息日志如下:[color=red]2015-03-28 17:13:12,147 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for null bad datanode[0] nodes == null2015-03-28 17:13:12,147 WARN o...原创 2015-03-28 17:51:56 · 243 阅读 · 0 评论 -
quorum.QuorumCnxManager: Cannot open channel to 2 at election address
ZooKeeper集群的每个节点都试图去连接集群中的其它节点,先启动的肯定连不上后面还没启动的,所以上面日志前面部分的异常是可以忽略的,因为当你看最后一个启动节点的日志文件(hbase-hadoop-zookeeper-hsdb02.log)时会发现没有任何错误日志。这个有点像条件反射啊,出现错误提示就....!本能的认为安装出现了差错,但是使用命令。正常,这时突然回过神来了!能正常登录且访问地址。原创 2015-04-02 15:38:11 · 1301 阅读 · 0 评论 -
Hadoop排序
数据排序是许多实际任务在执行时要完成的第一项工作,比如学生成绩评比、数据建立索引等。本次实例和数据去重类似,都是先对原始数据进行初步处理,为进一步的数据操作打好基础。实例描述:对输入文件中的数据进行排序。输入文件中的每行内容均为一个数字,即一个数据。要求在输出中每行有两个间隔的数字,其中,第二个数字代表原始数据,第一个数字代表这个原始数据在原始数据集中的位次。样例输入:...原创 2015-04-06 12:25:35 · 202 阅读 · 0 评论 -
Hadoop-2.7.1单机版安装
一、修改配置(core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml)hadoop-2.7.1/etc/hadoop/core-site.xml fs.default.name hdfs://127.0.0.1:9000 ...原创 2016-07-15 20:13:29 · 247 阅读 · 0 评论