Hadoop
苏先生_404
这个作者很懒,什么都没留下…
展开
-
Hadoop2.6-CDH5.7部署安装
cdh地址 http://archive-primary.cloudera.com/cdh5/cdh/5/ 添加sudo权限的无密码访问的hadoop用户 # useradd hadoop # vi /etc/sudoers hadoop ALL=(root) NOPASSWD:ALL # su - hadoop 下载 解压缩 [hadoop@hadoop000 so...原创 2018-10-18 19:44:29 · 182 阅读 · 0 评论 -
CDH版hadoop2.6.0-cdh5.7.0源码编译
前置要求 hadoop2.6.0-cdh5.7.0 源码包 下载 jdk 1.7+ 下载 maven 3.0+ 下载 protobuf 2.5+ 下载 安装依赖库 $>yum install -y svn ncurses-devel gcc* $>yum install -y openssl openssl-devel svn ncurses-devel zlib-dev...原创 2018-12-05 13:19:35 · 532 阅读 · 0 评论 -
大数据生态圈中压缩的使用
1.前言 在时下大数据场景中,虽然现在的机器的性能好,节点多,但是不代表,我们的数据就不需要做任何的压缩就开始处理,所以我们还是会对数据做压缩处理的,本文会详细的介绍大数据中常见的压缩格式,以及常见压缩的对比,和使用场景; 2.常用压缩格式介绍及对比 2.1 常见压缩介绍 压缩格式 文件后缀 gzip .gz bzip2 .bz2 LZO .lzo Snappy .sn...原创 2018-12-07 17:28:52 · 238 阅读 · 0 评论 -
HDFS HA和Yarn HA的区别
1. ZKFC HDFS中ZKFC作为单独的进程 Yarn中ZKFC是RM中的线程 2.从节点 HDFS中的DataNode 会向两个NameNode同时发送心跳。 Yarn中NodeManager只会向activeRM上报资源原创 2018-11-27 23:49:26 · 367 阅读 · 0 评论 -
Yarn HA
Yarn HA 和HDFS HA 一样为了解决单点故障问题 架构 各个组件的作用 ZKFC: zkfc,只作为RM进程的一个线程而非独立的守护进程来独立存在 RMStateStore:: .RM把job信息存在在ZK的/rmstore下,activeRM会向这个目录写app信息 当active RM挂了,另外一个standby RM通过zkfc选举成功为active,会从/rmstore读取相...原创 2018-11-27 23:43:12 · 219 阅读 · 0 评论 -
HDFS HA 架构理解篇
HA产生的背景 为了防止出现,单节点的NameNode挂了,不能对外提供服务,于是产生了,两个NameNode的节点,其中一台是standby,还有一台是active ,保证了两个NameNode,无论哪个出现问题,还是可以实时的对外提供服务 HDFS HA 架构 HDFS的HA的出现是为了解决单点问题,两个NameNode的通过JounalNode共享数据,通过ZKFC来监控NameNode的...原创 2018-11-27 23:28:54 · 287 阅读 · 0 评论 -
Jps详解
Jps的位置 [hadoop@hadoop000 hadoop-2.6.0-cdh5.7.0]$ which jps /usr/java/jdk1.7.0_80/bin/jps [hadoop@hadoop000 hadoop-2.6.0-cdh5.7.0]$ 从位置上来看,可以知道 jps来自java中原创 2018-10-18 23:50:24 · 377 阅读 · 0 评论 -
Hadoop中HDFS三个进程都以hadoop000启动
在部署完成Hadoop中的Hdfs和Yarn之后,发现启动Hdfs和Yarn的时候,NN和DN都是以机器名启动的而SNN是以0.0.0.0启动的,为了让HDFS三个进程都以机器名启动,修改配置文件. 修改配置文件 在官网中 http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-d...原创 2018-10-18 23:08:39 · 892 阅读 · 0 评论 -
Yarn部署
修改etc/hadoop/mapred-site.xml 复制 mapred-site.xml.template cp mapred-site.xml.template mapred-site.xml 修改mapred-site.xml <configuration> <property> <name&原创 2018-10-18 22:33:12 · 292 阅读 · 0 评论 -
Hadoop支持Lzo压缩
1.前置要求 编译安装好hadoop java & maven 安装配置好 安装前置库 yum -y install lzo-devel zlib-devel gcc autoconf automake libtool 2.安装 lzo 2.1 下载 #下载 wget www.oberhumer.com/opensource/lzo/download/lz...原创 2018-12-07 09:51:49 · 1072 阅读 · 1 评论