新手指导
雪峰庙
努力奋斗
展开
-
hadoop 2.2.0集群配置
hadoop-2.2.0环境搭建 在这里我们选用4台机器进行示范,各台机器的职责如下表格所示 hadoop0hadoop1hadoop2hadoop3是NameNode吗?是,属集群cluster1是,属集群cluster1是,属集群clust转载 2014-05-02 19:23:57 · 501 阅读 · 0 评论 -
mapreduce不同类型的数据分到同一个分区是否会影响输出结果
此篇需要对mapreduce有一定的了解,知道了解mapreduce的过程中,map需要分区,有多少个分区就有多少个reduce。因此我们的map是如何分区的。map通过Partitioner实现分区。Partitioner则是通过取余算法来实现的。比如:1.默认分区key.hashcode%numPartitions如果数值相同则被分到同一个分区。2.自定义分区在如下转载 2014-05-02 09:17:59 · 617 阅读 · 0 评论 -
在Hadoop中,从MapFile文件中读取指定键值的元素
问题导读:Configured基类的作用是什么?Tool接口的作用是什么?从MapFile文件中读取指定键值的元素的流程是什么?在本示例中,我们实现了一个继承自Configured基类,并且实现了Tool接口的ReadMapfile类。这样ReadMapfile类就成为可以在Hadoop运行环境中执行的应用类。一)准备阶段Configured基类转载 2014-05-04 09:25:05 · 643 阅读 · 0 评论 -
HDFS文件系统如何查看文件对应的block
(1)文件分割后,会有一个 文件 --> block的映射,这个映射是持久化到硬盘中的,具体的映射关系表是在FSNamesystem.java中构建的(该部分的构建使用的是FSDirectory.java的功能,filename - blockset);有了文件到块的映射表就可以通过文件找到blocklist;(2)datanode的选取,hadoop有它本身的机制,一般来说,datan转载 2014-05-05 09:27:51 · 3959 阅读 · 1 评论 -
使用FileSystem类进行文件读写及查看文件信息
在这一节我们要深入了解Hadoop的FileSystem类——这是与与hadoop的文件系统交互的重要接口。虽然我们只是着重于HDFS的实现,但我们在编码时一般也要注意代码在FileSystem不同子类文件系统之间的可移植性。这是非常有用的,比如说你可以非常方便的直接用同样的代码在你的本地文件系统上进行测试。使用hadoop URL读数据从hadoop文件系统中读取文件的最简单的方法之转载 2014-05-05 09:39:40 · 1248 阅读 · 0 评论 -
Hadoop2.2.0+HBase.96+Hive0.12配置详细过程整理
公司产品最近在往大数据方向靠拢,个人有幸能参与在其中,一路研究下来,学习到了许多,也尝到了不少辛苦,尤其是Hadoop2.2.0+Hbase.96+Hive0.12的配置,前后折腾了近一个多星期,个中艰辛,恐怕只有真正的技术人员能体会吧,没有办法,绝强,死磕,本就是我们这些人的特点,下面讲一下自己的经历,给后来学习者一个提示吧,权当抛砖引玉。补充:所以编译好的jar包均分享到百度云盘:链接转载 2014-05-06 10:09:27 · 851 阅读 · 0 评论 -
hadoop基本术语
(1)Hadoop 1.0Hadoop 1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成,对应Hadoop版本为Apache Hadoop 0.20.x、1.x、0.21.X、0.22.x和CDH3。转载 2014-06-08 10:09:38 · 627 阅读 · 0 评论 -
hadoop通过log分析mapreduce的过程及定位错误、分析问题
网上有很多mapreduce的源码解析以及执行过程,这里从相关的日志角度看mapreduce的执行过程,以便于在通过日志分析定位分析问题先简单说一下mapreduce的执行过程,如下图:1、应用程序客户端client准备作业(数据split划分,作业配置等),并上传值HDFS中;并提交作业至JobTracker。2、JobTracker根据job的配置信息(jobc转载 2014-06-10 10:33:02 · 861 阅读 · 0 评论 -
科目二挂科心得体会
虽然平时练习跑圈基本都是妥妥的,看考场的时候练车也刚刚过80分了 (上坡定点边缘超出30厘米,侧方没有打灯),但是考试之前还是有点紧张,然后就安慰自己:驾照是全民都可以有的基础证书,不像高考之类的选拔性考试,所以不用担心难度,只要用心肯定能过的,只有不想过的,没有过不了的。然后顿时轻松了很多。万万没想到考试当天竟然下起了雨,由于平时练车时候没经历过这种天气,所以当遇到意外情况时顿时慌了神,然后就很遗原创 2016-01-12 10:07:32 · 2620 阅读 · 1 评论