大数据环境搭建-CDH6.3.0安装

最新推荐文章于 2024-07-22 09:43:21 发布

wuhulala

最新推荐文章于 2024-07-22 09:43:21 发布

阅读量1.8k

点赞数 2

分类专栏： Hadoop 文章标签： CDH 大数据

本文链接：https://blog.csdn.net/u013076044/article/details/105960598

版权

本文详细介绍了如何在Linux环境中搭建CDH6.3.0大数据平台，包括准备hostname、关闭防火墙、配置SELinux、安装python、调整ulimit、设置仓库、安装oracle jdk、部署Cloudera Manager、配置Mysql数据库、安装数据库驱动、初始化数据库、配置parcel包、启动服务以及添加新机器等步骤。同时，文中也提到了遇到的问题和解决方案。

摘要由CSDN通过智能技术生成

https://www.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_mysql.html

安装impala 非CDH 版本，恶心的一逼，算了老夫花了20分钟装了一个CDH。

准备工作

配置hostname

设置hostname,一定要独一无二

sudo hostnamectl set-hostname foo-1.example.com

修改 /etc/hosts
```
192.168.1.102 foo-1.example.com
```
Edit /etc/sysconfig/network with the FQDN of this host only:
```
HOSTNAME=foo-1.example.com
```

关闭防火墙

RHEL 7 compatible:

sudo systemctl disable firewalld
sudo systemctl stop firewalld

设置 SELiunx 模式

检查SELiunx状态，如果是disabled跳过此步骤
```
getenforce
```

Open the /etc/selinux/config file (in some systems, the /etc/sysconfig/selinux file).

[root@flinkhadoop java]# vi /etc/selinux/config

SELINUX=disabled
SELINUXTYPE=targeted

重启系统或者使用下面的命令立即生效
```
setenforce 0
```

开启ntp（本机玩忽略）

可以将server配置到公网的。

安装python 2.7.x

python --version

配置ulimit

1.查看

ulimit -a

ulimit -u    # max user processes

ulimit -n    # open files

编辑

vi /etc/security/limits.conf


* soft nofile 65536      # open files  (-n)
* hard nofile 65536

* soft nproc 65565
* hard nproc 65565       # max user processes   (-u)

需要重新登录，或者重新打开ssh客户端连接，永久生效

安装

配置仓库

Type	Location (baseurl)	Repo File
RHEL 7 Compatible	https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/	cloudera-manager.repo
RHEL6 Compatible	https://archive.cloudera.com/cm6/6.3.0/redhat6/yum/	cloudera-manager.repo