![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
知识的搬运码农
这个作者很懒,什么都没留下…
展开
-
hadoop里面的MapReduce和yarn的运行原理
hadoop 1.xx与hadoop2.xx的区别特别大。特别是HDFS和mapreduce都有了很大的改变。hadoop2.xx具有高容错,有效的减少了由于单点故障所产生的影响,并且可用性和速度都有很大的提升。 hadoop2.xx的主要变更: 1)、HDFS的NameNode 可以以集群的方式进行部署,这就是高可用集群,即HA-hadoop集群。 2)、MapReduce里面的JobTra原创 2017-08-02 13:53:57 · 2372 阅读 · 0 评论 -
Hadoop+Zookeeper+HBase环境搭建
一 . 一般hadoop 1.xx集群出现的问题 hadoop集群二 . hadoop 2.xx的搭建(ha-hadoop) 1 . 网络设置 每个主机的主机名和ip都能ping通,主机之间按照主机名和ip的能连接成功。即配置每台主机的一些配置文件,命令如下: 详情参照:http://blog.csdn.net/qq_38776653/article/details/73550714 vi原创 2017-07-21 18:56:56 · 289 阅读 · 0 评论 -
sqoop和sqoop2的运行原理、安装、操作(1)
一、sqoop和sqoop2的运行原理sqoop,也有人称之为sqoop1,指版本在sqoop1.4.6之前的版本,sqoop2指的是sqoop1.99之后的下系列,本博客是以sqoop1.4.6和sqoop1.99.5为例。 从上图中可以明显的看出是sqoop的运行漏洞比较大,不方便,仓库的数据库支持版本比较少,并且mapreduce任务只支持map,没有运行reduce。这是sqoop和s原创 2017-09-02 18:27:07 · 5046 阅读 · 1 评论 -
Hadoop集群搭建
Hadoop分布式安装集群一、安装虚拟机如果安装完整版的需要执行下面操作。该步骤是安装mini版本和完整版的区别。mini版的可以完全不用做该操作。 1、安装时配置网络 里面所有的参数按照下面的方式查找。 按照系统提示操作。 进入centos7系统。 2、使该用户具有root的临时权限,这个是做不做都可以。 大概在92行加入红色线框的内容,中间用一个T原创 2017-06-21 16:50:35 · 706 阅读 · 1 评论