hadoop (一)Cloudera Manager一键安装

最新推荐文章于 2023-09-22 01:37:34 发布

小楠瓜儿

最新推荐文章于 2023-09-22 01:37:34 发布

阅读量1.9k

点赞数

文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_40783112/article/details/81943573

版权

hadoop (一)Cloudera Manager一键安装

一、Linux环境准备

cm安装要求，具体配置参考cloudera官网

centos需要使用6.4以上而且是64位的，同时对内存以及磁盘的空间都有严格的要求。
只有一台服务器的情况下，使用虚拟机安装了三台linux系统，如果一台服务器而且内存不够大的话，基本无法运行

二、准备工作

首先，配置给三台服务器配置好ip：vim /etc/sysconfig/network-scripts/ifcfg-eth0

设置如下：

    DEVICE="eth0"
    BOOTPROTO="static"
    HWADDR="00:0C:29:4E:BB:D5"
    NM_CONTROLLED="yes"
    ONBOOT="yes" 
    TYPE="Ethernet"
    UUID="b530dd2b-639e-4746-ba0d-254c78811de1"
    IPADDR="172.31.26.200"
    NETMASK="255.255.255.0"
    GATEWAY="172.31.26.254"
    DNS1="****"（这个自己设置一下）

然后，执行service network restart重启一下网络。
接下来，就是关闭SELinux、关闭防火墙。
关闭SELinux：
暂时关闭：setenforce 0 搭环境一定要注意关闭，像搭httpd服务的时候必须关掉。
执行vi /etc/selinux/config，设置如下内容便可永久关闭

    SELINUX=disabled

关闭防火墙：
1) 重启后生效
开启： chkconfig iptables on
关闭： chkconfig iptables off

2) 即时生效，重启后失效
开启： service iptables start
关闭： service iptables stop

接下来，就是修改一下hosts文件，像大数据中一般使用主机名。
执行：vim /etc/hosts，添加

    172.31.26.200 bigData200
    172.31.26.222 bigData222
    172.31.26.223 bigData223

三个节点都要添加。
如果某个过程中遇到错误，大家可以自行百度，都可以找到相应的解决办法。

三、ssh互访

建立Master到每一台Slave的SSH受信证书。由于Master将会通过SSH启动所有Slave的Hadoop，所以需要建立单向或者双向证书保证命令执行时不需要再输入密码。在Master和所有的Slave机器上执行：ssh-keygen -t rsa。执行此命令的时候，看到提示只需要回车。然后就会在/root/.ssh/下面产生id_rsa.pub的证书文件，通过scp将Master机器上的这个文件拷贝到Slave上（记得修改名称），例如：scp root@masterIP:/root/.ssh/id_rsa.pub /root/.ssh/46_rsa.pub，然后执行cat /root/.ssh/46_rsa.pub >>/root/.ssh/authorized_keys，建立authorized_keys文件即可，可以打开这个文件看看，也就是rsa的公钥作为key，user@IP作为value。从slave到master反向也是一样的操作。

然后每台服务器上都修改ssh的配置文件：vim /etc/ssh/sshd_config

     RSAAuthentication yes
     PubkeyAuthentication yes
     AuthorizedKeysFile  .ssh/authorized_keys

执行：vim /etc/ssh/ssh_config：

     StrictHostKeyChecking no

最后，可以看下主节点和子节点上的authorized_keys
执行cat /root/.ssh/authorized_keys
也就是说，你要无密码登录哪台主机，就得在那台主机上有一个授权的key。

四、ntp时间同步配置

这个配置，其实是为了保证slave节点与主节点的时间保持一致。如果没有安装ntp服务，则先安装：
ntp安装：
yum -y install ntp /yum安装NTP服务/
chkconfig –add ntpd /添加NTP/
chkconfig ntpd on /开机自启动NTP/

设置：

1.在iDriller主节点上编辑配置文件/etc/ntp.conf
vim /etc/ntp.conf
去掉一下两行前面的#号

server 127.127.1.0     # local clock
fudge  127.127.1.0 stratum 10

2. 在iDriller子节点上分别编辑配置文件/etc/ntp.conf
vim /etc/ntp.conf
在#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap行下面增加行：

    server bigData200

启动ntp服务：

service ntpd start

验证：

watch ntpq -p

五、主节点上安装clush

安装clush需要先配置好ssh免登陆。Clush可以在集群上并行执行shell命令并收集命令输出，所以分发文件就比较方便
先去下载clustershell-1.6-1.el6.noarch.rpm，然后安装
rpm -ivh clustershell-1.6-1.el6.noarch.rpm
这个只需要安装在主节点上，安装好后，执行
vim /etc/clustershell/groups，然后清空所有设置：

all:bigData200,bigData222,bigData223
slaves:bigData222,bigData223

然后，我们可以创建一个文件 touch /tmp/testfile，进行测试
clush -g all –copy /tmp/testfile –dest /tmp/，看是否分发到从节点上。

六、yum本地源配置

这一步可以说是最麻烦的，麻烦就在准备源，也就是rmp包，因为安装某个包时会有先安装很多依赖，所以这些包都得准备好。另外，为什么要使用本地源呢，因为大数据服务器一般是不会联网的，同时不使用本地源传输速度非常慢。
首先，需要安装一个httpd服务，这个可以不安装在集群的节点上，都行。

yum -y install httpd
service httpd restart
chkconfig httpd on

然后，http默认是将文件全部放在/var/www/html/下的：
这里写图片描述

这里，把cm相关的包放在cm目录下，把相关的常用包放在iso下，把升级包放在parcels下，然后启动服务后直接在浏览器中便可访问，如下
<code>这里写图片描述</code>

七、分发yum配置文件

这里，我们先执行：cd /etc/yum.repos.d/
然后创建一个目录bak，把这些默认源移到bak下，添加本地源cm.repo和iso.repo:

cm.repo:

[cm]
name=cm
baseurl=http://rzx161/cm
enabled=1
gpgcheck=0

iso.repo:

[iso]
name=iso
baseurl=http://rzx161/iso
enabled=1
gpgckeck=0
gpgkey=http://172.31.25.161/iso/RPM-GPG-KEY-CentOS-6

然后使用clush分发到另外两条从节点上去，执行
clush -g all --copy *.repo --dest /etc/yum.repos.d/

八、所有节点安装MySQL JDBC驱动

先卸载原有mysql
rpm -qa | grep -i mysql | xargs rpm -e –nodeps
然后安装驱动
yum -y install mysql-connector-java

九、在主节点上安装cm server和mysql server

执行
yum -y install cloudera-manager-server*
yum -y install mysql-server
分别安装cm server和mysql。
设置服务为开机启动：
chkconfig cloudera-scm-server on
chkconfig cloudera-scm-server-db on
chkconfig mysqld on
启动mysql：service mysqld start
在mysql中创建对应用户和数据库：

mysql>create database cmf default character set utf8 collate utf8_general_ci;
mysql>grant all on cmf.* to 'cmf'@'localhost' identified by 'cmf';
mysql>flush privileges;
mysql>exit;

编辑/etc/cloudera-scm-server/db.properties，将cmf库正确配置：

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=cmf

启动cm：
service cloudera-scm-server-db start
service cloudera-scm-server start

十、访问http://ip（或者配置了的hostname）:7180/ 分发安装包

在浏览器访问这个地址便可看到
密码默认是admin。
登陆进去后就是按照步骤操作

这个位置容易失败，主要是系统版本的原因，导致一些依赖有问题，真是悲剧。这个过程中要填一些源，就把刚才搭建httpd中的路径http://IP/cm/和http://IP/parcels/填写进去即可。

十一、添加安装服务并调整相应的配置

这里写图片描述
cm中可以添加很多服务，我们可以选择需要的服务先安装，之后也可以新增服务。
最好服务都成功后，并按照提示修改下相应的配置，便可看到：

在cm可以修改对于服务的配置文件，还可以执行命令，还可以监控服务等

⚠️服务器不同，配置环境不同，过程中会有相应的问题，如果过程中有维提岛的问题，自行百度解决

小楠瓜儿

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
hadoop (一)Cloudera Manager一键安装

hadoop (一)Cloudera Manager一键安装一、Linux环境准备cm安装要求，具体配置参考cloudera官网centos需要使用6.4以上而且是64位的，同时对内存以及磁盘的空间都有严格的要求。只有一台服务器的情况下，使用虚拟机安装了三台linux系统，如果一台服务器而且内存不够大的话，基本无法运行二、准备工作首先，配置给三台服务器配置好ip：vi...
复制链接

扫一扫