![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CDH
laughing1997
这个作者很懒,什么都没留下…
展开
-
CDH6.0、6.1篇:8、CDH的 hive on spark配置及解析、优化
分三个章节1、版本展示2、CDH安装spark3、优化配置信息----------------------分割线----------------------------------------1、版本展示1.所有版本:https://www.scala-lang.org/download/all.html2.11.8版本:https://www.scala-lang.org/dow...原创 2020-03-29 17:25:56 · 7747 阅读 · 6 评论 -
CDH6.0、6.1篇:7、Hadoop端代码测试
配置了CDH对hadoop端进行代码测试POM文件的maven坐标<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.0.0</ver...原创 2020-03-29 16:55:11 · 478 阅读 · 0 评论 -
CDH6.0、6.1篇:6、CDH优化
- 1.MapReduce shuffle处理程序和IFile阅读器使用本机Linux调用,在安装了Hadoop本机库的Linux系统上。- 2.改善随机处理程序 1.您可以通过启用shuffle readahead来改进MapReduce shuffle处理程序的性能。 这会导致TaskTracker或节点管理器在通过套接字将其发送到reducer之前预读取地输出。 2.要为YARN...原创 2020-03-29 16:52:10 · 1063 阅读 · 0 评论 -
CDH6.0、6.1篇:5、CDH的使用(hadoop ha、yarn ha)
本文分3个部分阐述1.使用CDH注意事项2.Hadoop HA 搭建3.YARN HA 搭建----------------------------------------分割线-------------------------------------------------------------1.使用CDH注意事项1.每台机器:根据aliyun提供的服务进行 时间同步:ntpda...原创 2020-03-29 16:46:40 · 1432 阅读 · 0 评论 -
CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)
前置工作:在CDH安装之前必须保证NODE1主节点中的以下程序均已启动1.每台机器:根据aliyun提供的服务进行 时间同步:ntpdate -u ntp6.aliyun.com 启动服务 systemctl start ntpd、systemctl restart ntpd 查看是否启动 ps -ef | grep ntpd 开机启动 systemctl enable ntp...原创 2020-03-29 16:32:02 · 1630 阅读 · 0 评论 -
CDH6.0、6.1篇:3、Cloudera Manager安装(只需要在NODE1做)
本文主要认真阐述在Cloudera Manager安装-------------------------------分割线----------------------------------------------------------------------Cloudera Manager安装(只需要在NODE1做)1.配置本地repo源 1.下载CM6.1的安装包,地址为: ht...原创 2020-03-29 16:01:52 · 487 阅读 · 0 评论 -
CDH6.0、6.1篇:2、MySQl配置文件my.cnf
此处针对mysql的配置进行说明两个文件:/etc/my.cnf 不带注释的配置信息/etc/my.cnf 带注释的配置信息-----------------分割线----------------------------------------------------------------------/etc/my.cnf 不带注释的配置信息[client]port = 3306...原创 2020-03-29 15:50:11 · 771 阅读 · 0 评论 -
CDH6.0、6.1篇:1、linux安装各种软件和配置
此文主要分两个部分一、安装 CentOS二、配置 CentOS--------------------分割线--------------------开始----------------------------------------一、安装 CentOS对拷贝后的node2和node3 分别进行以下修改1.uuidgen ens33 获取新的 UUID2.vim /etc/sysc...原创 2020-03-29 15:43:10 · 1459 阅读 · 0 评论