python安装lzo_CDH 5 安装教程，Kafka 安装，LZO 安装

weixin_39636245

于 2020-12-21 00:53:42 发布

阅读量118

点赞数

文章标签： python安装lzo

本文链接：https://blog.csdn.net/weixin_39636245/article/details/111758471

版权

这篇博客详细介绍了在CentOS 6环境下，如何进行CDH 5的安装，包括Kafka和LZO的集成。首先，博主列出了集群的基础配置和主机列表，强调了基础环境的准备，如关闭SELinux和iPtables，设置vm.swappiness。接着，博主详细阐述了MySQL的配置、Cloudera Manager Server和Agent的安装过程，以及CDH parcel包的部署。在CDH安装完成后，博主特别提到了Hadoop组件的配置，特别是NameNode的Heapsize调整，以及Kafka的安装步骤。最后，针对LZO压缩，博主提供了配置和分配LZO parcel包的指导，并修改了HDFS和YARN的相关配置以支持LZO。

摘要由CSDN通过智能技术生成

主机列表

|主机名 | IP |Memory| CPU | 角色及服务 | | :------- | ----: |:---: |:--- |:---| | test1.lan | 192.168.22.11 |9G|4核| cm-agent, Namenode, YARN | | test2.lan | 192.168.22.12 |9G|4核| cm-agent, SecondNameode, HBase-Master | | test3.lan |192.168.22.13 |9G|4核| cm-agent, Datanode, zk-server, kafka-broker, Regionserver| | test4.lan |192.168.22.14 |9G|4核| cm-agent, Datanode, zk-server, kafka-broker, Regionserver| | test5.lan | 192.168.22.15 |9G|4核| cm-agent, Datanode, zk-server, kafka-broker, Regionserver| | test6.lan |192.168.22.16 |9G|4核| cm-server， MySQL-Server|

基础环境CentOS 6 x86_64

jdk-8u101-linux-x64.rpm

MySQL-5.6.x

NTPd => On

CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel(离线parcel)

cloudera-manager-el6-cm5.12.0x8664.tar.gz

KAFKA-2.2.0-1.2.2.0.p0.68-el6.parcel

集群主机基础配置确保 / 目录至少100G以上

SELinux 关闭

iPtables 关闭

禁用 Transparent Hugepage Compaction

设置 vm.swapiness 为 1

ntp 服务开启，时间同步(不推荐用ntpdate)

配置 NTP 服务

以下配置集群内每台主机均要做一次

```vim /etc/sysconfig/ntpdate SYNC_HWCLOCK=yes // 打开硬件时钟同步保存 ntpdate time.windows.com

// 首次手动同步时钟，避免首次ntpd服务因时间偏差过大导致无法同步 vim /etc/ntp.conf server time.windows.com prefer // 添加时间同步服务器 service ntpd start && chkconfig ntpd on // 运行时间同步服务 ```

配置用于 cm-server 的 MySQL 服务器

该 MySQL 服务即可安装在 cm-server 服务器上，也可以与其他服务共用> rpm -qa | grep -i -E "mysql-libs|mariadb-libs"

> yum remove -y mysql-libs mariadb-libs && yum install -y -q crontabs postfix

> tar xf MySQL-5.6.35-1.el6.x86_64.rpm-bundle.tar