![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Empty-cup
这个作者很懒,什么都没留下…
展开
-
hadoop2.6.0-cdh5.15.1源码编译
编译环境准备1.采用阿里云的香港云主机,2core4GB,centos-7.2。编译过程中需要下载许多包,本地编译会一直卡在downloading界面,无法完成编译,所以需要外部网络。2.安装必要插件> yum install -y svn ncurses-devel > yum install -y gcc gcc-c++ make cmake > yum ins...原创 2019-08-21 19:18:53 · 180 阅读 · 0 评论 -
浅谈Hadoop的压缩格式之LZO
大数据环境下,在HDFS文件系统中存储数据,对数据进行压缩是十分有必要的。压缩数据可以使集群能够存储更多数据,减少磁盘IO,加快任务处理速度。但是,在hadoop上使用压缩也有两个比较麻烦的地方:第一,有些压缩格式不能被分块,并行的处理,比如gzip。第二,另外的一些压缩格式虽然支持分块处理,但是解压缩...原创 2019-11-14 18:30:40 · 1298 阅读 · 0 评论 -
Hadoop配置压缩及LZO支持分片
检查是否有lzop命令,我这里显示是有的,说明安装过了lzopwhich lzop返回:/usr/bin/lzop若没有执行如下安装命令yum install -y svn ncurses-develyum install -y gcc gcc-c++ make cmakeyum install -y openssl openssl-devel svn ncurses-dev...原创 2019-11-15 01:17:16 · 207 阅读 · 0 评论 -
HDFA(HA)和YARN(HA)部署(3个节点)
部署环境:3台阿里云主机,2core8GB,centos7.2ruozedata001 172.24.151.60(私)ruozedata002 172.24.151.55(私)ruozedata003 172.24.151.58(私)配置免密useradd hadoopsu - hadoopmkdir app data lib maven_repos softwar...原创 2019-08-21 19:40:46 · 502 阅读 · 0 评论 -
HDFS和YARN的HA架构剖析和对比
Hadoop官网地址:hadoop.apache.orgSpark官网地址:spark.apache.org学习过程中,一般使用伪分布式,使用集群目的是为了学习企业环境中的HA。HDFS:NN、SNN(checkpoint)、DN这是单点模式,NN挂了就不能对外提供服务,SNN只是冷备。所以需要两个NN做HA,一个active一个standby,active的NN对外服务,standby的...原创 2019-08-18 18:02:23 · 204 阅读 · 0 评论 -
Hadoop重要知识盘点
1.Hadoop介绍官网:hadoop.apache.org广义: 以Apache hadoop软件为主的生态圈,包含 hive sqoop hbase kafka spark flink等。狭义: Apache hadoop软件,包括HDFS、MapReduce、Yarn三大组件。关于版本:APACHE版本有 2.x 和 3.x,但是生产上很少用apache版本的hadoop,其缺点不做赘述。生产上至今企业还是以 CDH 5.x 为主 (cloudera公司),如:hadoop-2.6.0-c原创 2020-05-22 17:43:56 · 355 阅读 · 0 评论