hadoop
差点儿90后
把一件事情不急功近利地坚持到底,直到有个结果。并且相信这样一句美好的话:越努力,越幸运!
展开
-
hadoop一些基本知识——Mapreduce shuffle和排序
Mapreduce为了确保每个reducer的输入都按键排序。系统执行排序的过程—–将map的输出作为输入传给reducer 称为shuffle。学习shuffle是如何工作的有助于我们理解mapreduce工作机制。shuffle属于hadoop不断被优化和改进的代码库的一部分。从许多方面看,shuffle是mapreduce的“心脏”,是奇迹出现的地方。下面这张图介绍了mapreduce里shu转载 2015-07-08 21:07:46 · 1401 阅读 · 0 评论 -
Hadoop jps出现process information unavailable提示解决办法
启动Hadoop之后,使用jps命令查看当前系统的java进程情况,显示:root@ubuntu:/opt/hadoop-0.20.2/bin# jps68297 NameNode68702 JobTracker60622 -- process information unavailable68911 Jps68845 TaskTracker68610 SecondaryNameNode原创 2015-07-20 14:45:21 · 1443 阅读 · 0 评论 -
【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
start-all.sh和jps后出现一下问题root@ubuntu:/opt/hadoop-0.20.2/bin# sh start-all.shstarting namenode, logging to /opt/hadoop-0.20.2/bin/../logs/hadoop-root-namenode-ubuntu.outlocalhost: starting datanode, lo原创 2015-07-20 14:55:24 · 2943 阅读 · 0 评论 -
在Ubuntu下使用Eclispe连接HDFS时拒绝链接解决方案
一、关闭防火墙 ufw disable 二、把hadoop三个配置文件中涉及到的主机名全部改成ip地址,也即localhost(我这里是ubuntu)改成127.0.0.1原创 2015-07-20 16:33:20 · 1051 阅读 · 0 评论 -
hadoop一些基本知识——Hadoop简介(1):什么是Map/Reduce
Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等.这里详细分解这里面的概念让大家通过这篇文章了解到底是什么hadoop:1.什么是Map/Reduce,看转载 2015-07-07 15:06:32 · 2619 阅读 · 0 评论 -
hadoop一些基本知识——Mapreduce 整个工作机制图
图二中1:表示待处理数据,比如日志,比如单词计数 图二中2:表示map阶段,对他们split,然后送到不同分区 图二中3:表示reduce阶段,对这些数据整合处理。 图二中4:表示二次mapreduce,这个是mapreduce的链式。这里有个问题:输出的mapreduce结果,需要进入下一个mapreduce,该怎么解决?请看 “让你真正明白什么是MapReduce组合式,迭代式,链式-大转载 2015-07-07 15:25:27 · 721 阅读 · 0 评论 -
hadoop一些基本知识——hadoop HDFS文件系统的特征
hadoop HDFS文件系统的特征 (1)存储极大数目的信息(terabytes万亿字节 or petabytes千万亿字节),将数据保存到大量的节点当中。支持很大单个文件。 (2)提供数据的高可靠性,单个或者多个节点不工作,对系统不会造成任何影响,数据仍然可用。 (3)提供对这些信息的快速访问,并提供可扩展的方式。能够通过简单加入更多服务器的方式就能够服务更多的客户端。 (4)HDFS是转载 2015-07-07 14:35:11 · 580 阅读 · 0 评论 -
一些文章的搜集——关于Hadoop
Hadoop 要做的事 首先把 1PB的数据文件导入到 HDFS中, 然后编程人员定义好 map和reduce, 也就是把文件的行定义为key,每行的内容定义为value , 然后进行正则匹配,匹配成功则把结果 通过reduce聚合起来返回.Hadoop 就会把这个程序分布到N 个结点去并行的操作。比如 1亿个 1 相加 得出计算结果, 我们很轻易知道结果是 1亿.但是计算机不知道.那么单台计算原创 2015-07-07 13:49:41 · 543 阅读 · 0 评论 -
hadoop shell命令介绍
Hadoop 文件系统shell使用命令介绍,基本上所有的命令与linux命令相差不大,下面为我的hadoop系统文件夹 查看命令:hadoop fs -ls /home/hadoop/ drwxr-xr-x - hadoop supergroup 0 2013-11-30 17:51 /home/hadoop/dir drwxr-xr-x - hadoop supe转载 2015-07-08 21:38:07 · 1058 阅读 · 0 评论 -
【hadoop】DataNode用jps查看无法启动解决办法
查看DataNode端口没有被其他进程占用,但是依旧用jps查看不了DataNode,此时打开hadoop,访问http://localhost:50070,点击页面中的Namenode logs链接,在logs页面点击hadoop-hadoop-datanode-ubuntu.log 链接,发现日志里面有如下错误: ERROR org.apache.hadoop.hdfs.server.dat原创 2015-07-20 15:27:39 · 7744 阅读 · 2 评论