![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop相关
**码上人生**
在数据、代码中寻找诗和远方......
展开
-
搭建hadoop2.6.0 HA及YARN HA
搭建hadoop2.6.0 HA及YARN HA以前用hadoop2.2.0只搭建了hadoop的高可用,但在hadoop2.2.0中始终没有完成YARN HA的搭建,直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程,没有仔细看hadoop的官方文档,貌似hadoop2.2.0不支持YARN HA,如果说错了谢谢指正呀,下面总结一下原创 2015-04-14 17:30:32 · 640 阅读 · 0 评论 -
集群安装:YARN安装(测试)
1、准备工作:修改网卡和主机名(在三个节点同时操作) 1)、修改网卡1: 注意:此处只用一个网卡就可以了,本地IP(10.10.10.1)可以不用配置Vi/etc/sysconfig/network-scripts/ifcfg-eth0 修改网卡2: 设置好后重启网络服务: 看网卡的配置信息: 2)、修改主机名原创 2016-02-07 11:55:18 · 1118 阅读 · 0 评论 -
集群安装:HA与Yarn(测试)
准备工作:修改网卡和主机名(在三个节点同时操作) 1)、修改网卡1: 注意:此处只用一个网卡就可以了,本地IP(10.10.10.1)可以不用配置Vi/etc/sysconfig/network-scripts/ifcfg-eth0 修改网卡2: 设置好后重启网络服务: 看网卡的配置信息: 2)、修改主机名原创 2016-02-07 11:54:16 · 1293 阅读 · 0 评论 -
集群安装:HA与Federation(测试)
准备工作:修改网卡和主机名(在三个节点同时操作) 1)、修改网卡1:具体过程不介绍了 注意:此处只用一个网卡就可以了,本地IP(10.10.10.1)可以不用配置Vi/etc/sysconfig/network-scripts/ifcfg-eth0 修改网卡2:设置好后重启网络服务: 看网卡的配置信息: 2)、修改主原创 2016-02-07 11:52:39 · 518 阅读 · 0 评论 -
单机安装(Hadoop2.2.0测试用)
需要关闭SELINX,执行:/usr/sbin/setenforce0 注意:最好是手动关闭。还有:要把各个服务器的防火墙给关闭了,不然,后面运行时会报错。 Linux关闭防火墙命令:1) 永久性生效,重启后不会复原 开启:chkconfigiptables on 关闭:chkconfig iptables off 2) 即时生效,重启后复原 开启:se原创 2016-02-07 11:48:25 · 447 阅读 · 0 评论 -
yarn的工作流程
问题导读YARN上的应用程序主要分为几类,分别是什么?YARN将分几个阶段运行该应用程序?YARN的工作流程分为八个步骤,分别是什么?运行在YARN上的应用程序主要分为两类:(1)短应用程序(2)长应用程序短应用程序是指一定时间内(可能是秒级、分钟级或小时级等)可运行完成并正常退出的应用程序,比如MapReduce作业、Tez DAG作业等.长应用程序是指不出意外,永不终止运行的应用程原创 2016-02-07 11:30:18 · 674 阅读 · 0 评论 -
MapReduce详细过程
MapreduceITeye数据结构多线程Hadoop Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Sh原创 2016-02-07 11:27:26 · 381 阅读 · 0 评论 -
HDFS的读写流程
1、HDFS简介HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB,GB以及TB,并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改,则并不是十分适合。目前HDFS支持的使用接口除了Java的还有,Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized ch原创 2016-02-07 11:25:42 · 1893 阅读 · 0 评论 -
java.io.IOException: Connection reset by peer问题处理
HiveServer2支持多客户端的并发访问,使用ZooKeeper来管理Hive表的读写锁。实际环境中,遇到了HiveServer2连接ZooKeeper出现Too many connections的问题,这里是对这一问题的排查和解决过程。问题描述HiveServer2服务无法执行hive命令,日志中提示如下错误:2013-03-2212:54:43,946 WARN zo原创 2015-04-14 13:53:42 · 24138 阅读 · 0 评论 -
查看Zookeeper日志
zookeeper的事务日志通过zoo.cfg文件中的dataLogDir配置项配置,文件如下:zookeeper提供了查看事务日志的工具类LogFormatter,运行: java -classpath.:slf4j-api-1.6.1.jar:zookeeper-3.4.5.jarorg.apache.zookeeper.server.LogFormatter/export1/原创 2015-04-14 13:58:37 · 19070 阅读 · 0 评论 -
离线安装CDH5集群及相关软件
离线安装CDH5集群及相关软件一、CDH的三种安装方法官方共给出了3中安装方式:第一种方法:必须要求所有机器都能连网。这种方法的最大弊端就是安装过程中,总是因为网络超时,导致安装失败。第二种方法:需要下载很多包。第三种方法:对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便。后期的集群统一包升级也非常好。所以,选择离线安装。相关包的下载可以在Clouder原创 2016-02-07 11:56:23 · 1459 阅读 · 0 评论