ubuntu14.04自建局域网源在线安装CDH5.6.0

本文档详细介绍了如何在Ubuntu14.04环境下自建CDH5.6.0的局域网源,以及如何使用该源进行集群安装。包括下载必要软件包,设置安装源,配置服务器与集群节点,安装Cloudera Manager Server和Agent,以及使用Cloudera Manager Wizard完成集群部署。
摘要由CSDN通过智能技术生成

背景:要搭建一个可以添加节点的cloudera集群,但内部网络访问不了cloudera,能访问的主机访问速度也特别慢。
实现方式:搭建一个内部的软件源,采用官网第二种方式安装

1. 搭建CDH源服务器

源服务器地址:192.168.10.136
可以连接外网

下载以下包

1.1. cloudera-manager相关包(下载地址:https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/pool/contrib/e/enterprise/

  • cloudera-manager-agent_5.6.0-1.cm560.p0.54~trusty-cm5_amd64.deb
  • cloudera-manager-daemons_5.6.0-1.cm560.p0.54~trusty-cm5_all.deb
  • cloudera-manager-server_5.6.0-1.cm560.p0.54-trusty-cm5_all.deb

1.2. oracle-j2sdk1.7(下载地址:https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/pool/contrib/o/

1.3. cdh安装包parcel(下载地址:https://archive.cloudera.com/cdh5/parcels/5.6.0/

  • CDH-5.6.0-1.cdh5.6.0.p0.45-trusty.parcel
  • CDH-5.6.0-1.cdh5.6.0.p0.45-trusty.parcel.sha1
  • manifest.json

1.4. 其他的依赖包(下载方式:可以用一台可以连接外网的主机,用apt-get install下载安装,下载完后在/var/cache/apt/archives里找到)

  • lsb-base psmisc bash libsasl2-modules zlib1g libsqlite3-0 libfuse2 fuse rpcbind libxslt1.1 libsasl2-modules-gssapi-mit libmysql-java python-urllib3 python-mysqldb mariadb-server-5.5

安装源服务器

1 创建目录/data/soft/pool //设立安装源路径

拷贝cloudera-manager相关包、oracle-j2sdk1.7和其他的依赖包/data/soft/pool

2 安装dpkg-dev

安装dpkg-dev,并执行dpkg-scanpackages 扫描依赖包并生成依赖关系gz包:

sudo apt-get install  dpkg-dev -y

生成Packages.gz

root@192.168.10.136:/data# dpkg-scanpackages soft/pool | gzip > soft/Packages.gz 一定要这么写,不然有错误

3 创建目录/data/soft/cloudera,将cdh安装包parcel和manifest.json复制到/data/soft/cloudera/

4 安装apache2

sudo apt-get install apache2

建立软链接使其他主机访问

cd /var/www/html

ln -s /data

访问196.168.10.136/data, 可以查看到soft目录即表示apache安装配置成功

2. 集群安装(用root用户安装)

三台机器的ip和名字为

192.168.10.236 hadoop-1 (内存16G) cloudera-manager-server
192.168.10.237 hadoop-2 (内存16G)
192.168.10.238 hadoop-3 (内存8G)

2.1 配置各节点允许root ssh登陆

sudo vi /etc/ssh/sshd_config

找到PermitRootLogin no一行,改为PermitRootLogin yes

sudo service ssh restart

2.1 配置主节点root免密钥陆其他节点

在hadoop-1上执行ssh-keygen -t rsa -P ”生成无密码密钥对
将公钥添加到认证文件中:cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
将认证文件拷贝到hadoop-2和hadoop-3的/root/.ssh/目录下,使主节点免密码访问从节点

2.2 配置/etc/hosts(各个节点都要)

192.168.10.236 hadoop-1
192.168.10.237 hadoop-2
192.168.10.238 hadoop-3

2.3 各节点设置安装源

/etc/apt/sources.list.d

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值