![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据--Hadoop
文章平均质量分 78
lijieshare
这个作者很懒,什么都没留下…
展开
-
搭建Hadoop环境
1、关闭防火墙service iptables statusservice iptables stopchkconfig --listchkconfig iptables off2、SSH 免密码登录生成秘钥到root目录 ssh-keygen -t rsa公钥文件放入authorized_keyscp id_rsa.pub authorized...原创 2014-12-22 21:26:47 · 99 阅读 · 0 评论 -
java操作之HDFS-创建-删除目录-读写文件-追加写文件
Hadoop文件操作之HDFS,创建。删除目录,读写文件,追加写文件 package hadoop.hadoop_demo;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.apache.commons.io.IOUtils;import org.apache.ha...2016-04-07 23:44:03 · 281 阅读 · 0 评论 -
新版本Hadoop安装过程
1、进程差异新版本HadoopSecondaryNameNode NodeManager NameNode DataNode ResourceManager旧版本HadoopSecondaryNamenode,JobTracker,NameNode,DataNode,TraskTracker五个进程 安装新版本Haddop注意事项,安装过程同hadoop低版本...2016-04-07 22:15:53 · 89 阅读 · 0 评论 -
java操作HDFS文件
java代码操作HDFS文件 /**<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-core</artifactId><version>1.2.1</version></depende2016-04-05 22:27:24 · 101 阅读 · 0 评论 -
【Hadoop环境搭建之SSH免密码登录高级篇】
想象一下这种场景:我们使用1000台廉价的PC机做Hadoop集群,虽然Hadoop号称高可用,低成本;但是廉价机器谁能保证不出现问题呢,况且世界上本身就没有不出问题的电脑,于是今天坏掉一台机器,明天需要扩充增加一个节点增加容量,但是有一个问题SSH免密码登录的认证的公钥文件在各个电脑上不能共享,如果增加一个节点,新产生的id_rsa.pub 文件在各个PC的authorized_keys文...2016-03-11 21:45:28 · 214 阅读 · 0 评论 -
【八】Hadoop分布式环境搭建
概述:分布式核心思想是人多力量大,众人拾材火焰高;把众多计算机集中起来进行任务处理,其存储和运算能力就提高了,可以并行运算,但是众多PC维护管理也是一个问题,所谓众口难调,这就是鱼和熊掌不可兼得的道理,只能两害相侵,取其轻,来进行利益最大化处理。本次实验使用三台虚拟机:master,node1,node2,其中master作为namenode,senondNameNode,以及JobTra...原创 2015-12-08 21:52:35 · 95 阅读 · 0 评论 -
【Hadoop YARN的发展史与详细解析】
原来的 map-reduce 架构是简单明了的,在最初推出的几年,也得到了众多的成功案例,获得业界广泛的支持和肯定,但随着分布式系统集群的规模和其工作负荷的增长,原框架的问题逐渐浮出水面,主要的问题集中如下:1)JobTracker 是 Map-reduce 的集中处理点,存在单点故障。2)JobTracker 完成了太多的任务,造成了过多的资源消耗,当 map-reduce jo...2017-03-27 20:30:54 · 167 阅读 · 0 评论 -
【Hadoop核心之MapReduce运行机制】
江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)!谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable 一、mapreduce运行机制 mapreduce运行机制,这些按照时间顺序包括:输入分片(input split)、map...2016-10-10 22:01:09 · 76 阅读 · 0 评论 -
【Hadoop核心之MapReduce介绍】
1、MapReduceMapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值...2016-10-10 21:47:57 · 115 阅读 · 0 评论 -
【hadoop2.x HA 高可用介绍】
Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。hadoop2就解决了这个问题。 hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于...2017-07-23 14:07:48 · 120 阅读 · 0 评论