Hadoop平台CDH介绍

Hadoop平台CDH简介

CDH是Cloudera开发的基于Hadoop生态的一系列组件的组合，简化了Hadoop生态各个组件的版本匹配及安装、集群管理、监控等。
如果实时性要求不是很高，可以使用Hadoop平台，比如CDH。通过定时ETL，将在MySQL表抽取至Hive数据仓库，然后使用Impala代替MySQL快速完成复杂查询的任务。也可以将部分耗时多的处理复杂逻辑的作业转移至CDH进行计算，从而大大减轻MySQL的压力。

安装

CDH目前有5、6两个大版本，这里安装的是CDH5版本，介绍一篇参考文档：
https://blog.51cto.com/flyfish225/2490326

应用

这是CDH的管理端UI，可以查看集群各个主机的资源使用情况，配置需要的服务，修改参数等：

这是HUE的Web UI，可以使用Oozie执行Workflow作业、Impala/Hive编写查询，跟Navicat等编写mysql语法很相似：

• 注意：

  ①主机名不能含有下划线，应只有字母跟数字

  ②域名、IP对应转换：可以通过hosts文件配置，设置主机名跟域名：

[root@cdhmaster ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.176.9 cdh0.mycdh.com  cdh0
192.168.176.10 cdhmaster.mycdh.com  cdhmaster
192.168.176.11 cdhnode1.mycdh.com  cdhnode1
192.168.176.12 cdhnode2.mycdh.com  cdhnode2

也可以自建DNS服务器，然后在各主机网络的配置文件中配置DNS服务器地址。

③透明大页面压缩，要确认加入随机启动

• 遇到的问题的解决：

  ①sqoop抽取后加载到hive报错的问题：在workflow的节点中，ENVIRONMENT VARIABLES 新增： HADOOP_USER_NAME=${wf:user()}

  ②impala多次执行消耗内存较大的查询，报错 Failed to get minimum memory reservation of…：进入cloudera manager，打开impala组件，查询 limit关键词，修改 Impala Daemon Default Group / 资源管理 ，将256兆提高为2G