大数据CDH5环境搭建

最新推荐文章于 2024-09-04 11:40:27 发布
置顶 最新推荐文章于 2024-09-04 11:40:27 发布
阅读量4.3k 收藏 11
点赞数 2
分类专栏： 大数据 文章标签： cloudera 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Elonyong/article/details/78343440
版权

相关包的下载地址：
Cloudera Manager地址：
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.6.1/
http://archive.cloudera.com/cm5/installer/5.6.1/
CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/5.6.1/
由于我们的操作系统为CentOS6.5，需要下载以下文件：
CDH-5.6.1-1.cdh5.6.1.p0.5-el6.parcel
CDH-5.6.1-1.cdh5.6.1.p0.5-el6.parcel.sha1
manifest.json
JDBC：http://download.softagency.net/MySQL/Downloads/Connector-J/

一、基础环境准备(所有服务器都要做)

1.修改主机名和hosts
# vi /etc/sysconfig/network --修改主机名
NETWORKING=yes
HOSTNAME=bigdata01.nebuinfo.com
# vi /etc/hosts --修改hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.128.51  bigdata01.nebuinfo.com
192.168.128.52  bigdata02.nebuinfo.com
192.168.128.53  bigdata03.nebuinfo.com
2.关闭服务器防火墙以及selinux
# service iptables stop
# chkconfig iptables off
# vi /etc/selinux/config 
将SELINUX=enforcing改为SELINUX=disabled
验证：
# iptables -L
# getenforce
3.禁用IPv6
# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
4.禁用“透明大页面”
5.6.1只要这一个命令,后面版本会多出一个命令,注意看警告即可
# echo never > /sys/kernel/mm/transparent_hugepage/defrag
# echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
5.调整Swappiness
# cat /proc/sys/vm/swappiness
默认是60
修改swappiness值为10
sysctl vm.swappiness=10
为保证重启有效
# vi /etc/sysctl.conf
添加下面一行
vm.swappiness=10
所有服务器重启后验证hostname 和 SELINUX
6.配置免秘钥
修改好主机名以后
# ssh-keygen -t rsa -P '' --在本机生成公钥
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  --公钥写入自己的认证文件
# chmod 600 ~/.ssh/authorized_keys
主节点执行
# scp ~/.ssh/id_rsa.pub  root@bigdata02.nebuinfo.com:~
# scp ~/.ssh/id_rsa.pub  root@bigdata03.nebuinfo.com:~
各个节点执行
# cat  ~/id_rsa.pub >>  ~/.ssh/authorized_keys
# chmod 600 ~/.ssh/authorized_keys
# rm ~/id_rsa.pub

各个节点执行(可不做)
# cd ~/.ssh
# ssh-copy-id -i id_rsa.pub root@bigdata01.nebuinfo.com
7.利用ntp配置服务器时间同步
先选定一台主服务器,其他服务器都同步这台主服务器的时间
先修改时间
# date -s '2017-10-24 12:48:30' +'%F %T'(实际改成当前时间)
将修改后的时间写入硬件时钟，确保重启有效
# hwclock -w
配置开机启动
# chkconfig ntpd on
# chkconfig --list ntpd
先配置主服务器
    # vi /etc/ntp.conf
    (找到这一行,放开restrict的注释,并且修改ip地址)
    # Hosts on local network are less restricted.
    restrict 192.168.128.1 mask 255.255.255.0 nomodify notrap

    (找到这一行,注释下面的server)
    # Please consider joining the pool (http://www.pool.ntp.org/join.html).
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    添加下面两行
    server  127.127.1.0     # local clock
    fudge   127.127.1.0 stratum 10
配置其他服务器
    # vi /etc/ntp.conf
    (找到这一行,放开restrict的注释,并且修改ip地址)
    # Hosts on local network are less restricted.
    restrict 192.168.128.1 nomodify notrap noquery

    (找到这一行,注释下面的server)
    # Please consider joining the pool (http://www.pool.ntp.org/join.html).
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    指定时间服务
    server 192.168.128.51

改好文件后所有机器重启ntp服务
# service ntpd restart
5-10分钟后验证时间是否同步
# ntpstat  
synchronised to NTP server (192.168.128.51) at stratum 12 
time correct to within 18 ms
polling server every 64 s
(显示上面内容说明同步成功)
利用date命令再次验证
# date
8.JDK1.8安装及配置

参考资料：http://www.cnblogs.com/shihaiming/p/5809553.html

下载jdk8
：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
选择对应jdk版本下载

  1. 登录Linux切换到root用户

  2. 卸载系统自带的JDK

    [root@localhost java]# rpm -qa|grep java --查询目前已装的JDK
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
tzdata-java-2013g-1.el6.noarch
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 tzdata-java-2013g-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64  --卸载相应的JDK

  3. 在usr目录下建立java安装目录(必须要装在这个目录,否则后面会有找不到java_home的报错)

    # mkdir /usr/java

  4. 将jdk-8u151-linux-x64.gz发送到java目录下

  5. 解压jdk到当前目录

    # tar -zxvf jdk-8u151-linux-x64.gz
    得到文件夹 jdk1.8.0_151

  6. 编辑配置文件，配置环境变量

    vi /etc/profile
    添加如下内容：

    JAVA_HOME=/usr/java/jdk1.8.0_151
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

  7. 执行命令 ：

    # source /etc/profile

  8. 查看安装情况

    [root@localhost ~]# java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)
9.挂载CenterOS镜像文件配置yum源
如果通互联网可以不做,否则必须做
暂时没写,后面补上

二、CDH所需服务搭建

1.MySql安装及配置
查看并卸载已有的mysql(所有服务器都要做)
# rpm -qa|grep -i mysql
# rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64

# mkdir /app/mysql(只在主节点安装)
将mysql的安装包上传到/app/mysql
    MySQL-client-5.6.13-1.el6.x86_64.rpm
    MySQL-devel-5.6.13-1.el6.x86_64.rpm
    MySQL-server-5.6.13-1.el6.x86_64.rpm
    MySQL-shared-compat-5.6.35-1.el6.x86_64.rpm
# cd /app/mysql
# rpm -ivh * 
Preparing...                ########################################### [100%]
   1:MySQL-server           ########################################### [ 33%]
安装成功后启动
# service mysql start
查看root初始密码
# cat /root/.mysql_secret
例如:# The random password set for the root user at Tue Oct 24 17:01:46 2017 (local time): OYRocvL1

# mysql -uroot -pOYRocvL1 (注意密码前面有个-p)
    mysql>  SET PASSWORD = PASSWORD('123456'); --先要修改默认的root密码 否则无法进行下面的操作
    切换到mysql的database中,里面存储了用户信息,可以修改密码
    mysql>  use mysql;
    为其他客户端开启连接权限
    mysql>  grant all privileges on *.* to 'root'@'%' identified by '123456';  
    mysql>  flush privileges;//刷新权限
创建database和用户
复制下面命令在mysql命令行下执行:
    create database hive;
    create database oozie;
    grant all on hive.* to 'hive'@'%' identified by 'hive' with grant option;
    grant all on oozie.* to 'oozie'@'%' identified by 'oozie' with grant option;
    flush privileges;
创建hive和oozie用户后面会用到,用户名就是密码
2.Cloudera-Manager和CDH安装
开启Http服务(目的是为了提供yum源)
# service httpd start
将提供的cm文件夹放到/var/www/html目录下
# ll /var/www/html/cm 
    drwxr-xr-x 4 root root 4096 10月 24 19:30 5.6.1
    -rw-r--r-- 1 root root 1690 10月 24 19:30 cloudera-manager-installer.bin
    -rw-r--r-- 1 root root 1690 10月 24 19:30 cloudera-manager.repo
    -rw-r--r-- 1 root root 1690 10月 24 19:30 RPM-GPG-KEY-cloudera
通过浏览器访问http://192.168.128.51/cm/可以看到相应文件夹
添加mysql驱动包
mysql-connector-java.jar复制到/usr/share/java/
创建目录mkdir -p /opt/cloudera/parcel-repo
把cdh下的文件放到此目录下得到
CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel
CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1
manifest.json
把sha1文件改为sha
# mv CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1 DH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha
给cloudera-manager-installer.bin赋予可执行权限
# chmod u+x cloudera-manager-installer.bin
配置cloudera-manager yum源
# vi /etc/yum.repos.d/cloudera-manager.repo
    修改为以下内容
    [cloudera-manager]
    name = Cloudera Manager, Version 5.6.1
    baseurl = http://192.168.128.51/cm/5.6.1/
    gpgcheck = 0
执行cloudera-manager-installer.bin开始安装
# ./cloudera-manager-installer.bin
会出现安装界面,用回车选Next,Yes即可

访问http://192.168.128.51
用户名:admin密码admin

登录界面

选择免费版

这里写图片描述

根据域名搜索主机
bigdata[01-03].nebuinfo.com
点击搜索得到以下三台机器

这里写图片描述

使用Parcel安装
选择CDH5.6.1版本
选择自定义Cloudera Manager Agent
并且设置包路径(截图不太一样,理解原理就行)
http://192.168.128.51/cm/5.6.1/
这里写图片描述

不勾选单用户模式

这里写图片描述

选择root用户
并设置密码admin

这里写图片描述

等待安装完毕下一步

这里写图片描述

等待安装

这里写图片描述

如果上面的准备工作都做了应该不会有警告,其他警告要看具体情况

这里写图片描述

根据服务器的配置情况尽量分散各个服务器的压力

这里写图片描述

配置前面安装好的mysql数据库

这里写图片描述

默认配置即可

这里写图片描述

等待安装

这里写图片描述

这里写图片描述

完成后可以看到以下页面

这里写图片描述

参考
http://blog.csdn.net/jdplus/article/details/45920733
http://blog.csdn.net/xjkwq1qq/article/details/50394210

Elonyong
关注
专栏目录
cloudera manager 安装cdh 搭建大数据集群，详细讲解核心
08-03
该文档详细讲解了cloudera manager安装cdh步骤，作者看了官方文档不下千次，呕心沥血整理，非常详细，以及各种安装方法的核心优缺点
大数据平台CDH搭建
weixin_33724046的博客
05-31 681
一、概述 Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 二、安装部署 序号 IP地址 主机名 系统版本 1 17...
CDH大数据平台
最新发布
menglongzmc91的博客
09-04 2191
是一种基于内存的分布式并行计算框架，不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Hive是CDH中的一个数据仓库工具，它提供了类似于SQL的查询语言（HiveSQL），它可以将结构化的数据映射到Hadoop集群中的文件，并支持高性能的数据查询和分析。供的信息包括主机上的CDH版本、主机所属的集群、 运行在主机上的角色的数量。CM管理的集群中，只能使用CM进行角色进程的启停。
CDH大数据平台搭建
热门推荐
大数据同盟会的博客
09-25 1万+
Hadoop介绍 Hadoop是apache旗下的一套开源软件平台, 负责对海量数据进行分布式处理。
cdh 大数据平台搭建
heqingcool的博客
06-07 1091
安装包下载 链接: https://pan.baidu.com/s/1dyvSej5tSrUC4ja8-usqvA 提取码: a9hx 上传压缩包 上传cdh6.3.2.tar安装包到linux服务器，并解压 tar -xvf cdh6.3.2.tar -C /tmp/ 组件安装 安装 expect 命令，实现脚本交互 #所有节点 yum install expect -y rhel 7 默认没有pstree命令，使用以下命令进行安装 #所有节点 yum install psmisc -y
大数据CDH集群部署文档v1.1.docx
08-13
大数据CDH集群部署文档是指利用Cloudera Distributed Hadoop（CDH）搭建大数据集群的指导手册，旨在帮助用户快速搭建大数据环境，学习大数据利器。以下是该文档的知识点总结： 大数据CDH集群概述 CDH是Cloudera...
CM_CDH大数据集群搭建总结.zip
11-14
在构建大数据处理环境时，CM_CDH（Cloudera Manager + CDH）是一个常见的选择，它提供了一套全面的数据管理平台，集成了多种大数据服务，包括HDFS、Hadoop、HBase、Spark、Oozie、Sqoop、MapReduce（MR）、Zookeeper...
Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式使用说明.pdf
10-18
Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式使用说明 在大数据时代，Cloudera大数据平台环境搭建是很多企业和个人所需掌握的重要技能之一。本文档旨在为读者提供一个傻瓜式的使用说明，帮助读者快速搭建Cloudera...
搭建liunx系统上搭建大数据CDH集群安装Cent0s7,安装http服务时报错解决方案
01-07
在学习大数据在linux系统上搭建CDH集群时，需要安装http服务，在检查是否安装时提示:： service httpd status 然后安装http服务提示报错 yum -y install httpd 在百度上搜了各种各样的解决方案都没解决，最后通过...
【大数据集群搭建-CDH-（1）虚拟机基础环境配置】CDH版本进行大数据集群各组件环境部署-（1）虚拟机基础环境配置
weixin_53543905的博客
02-22 816
安装vim,telnet,ifconfig,根据情况进行安装。最后通过客户端进行连接三台虚拟机,然后就可以使用了。【大数据集群搭建-CDH-（1）虚拟机基础环境配置】CDH版本进行大数据集群各组件环境部署-（1）虚拟机基础环境配置
CDH5hadoop集群搭建手册，大数据平台搭建手册
08-22
(CDH5.13.1)hadoop集群搭建手册，搭建流程都有包括，强烈推荐
【2019】CDH6.x企业级大数据平台搭建
06-12
本课程主要讲解在实际项目开发中，企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager(CDH6)安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练，从设计思想到流程实施，亲力亲测，你也绝对可以。推荐进阶课程：大数据运维尖刀班
大数据开发之CDH使用搭建大数据平台
y_wang_的博客
04-09 4977
介绍CDH，并介绍使用其搭建大数据平台的详细步骤
CDH大数据平台部署安装（详细）
m0_73800495的博客
06-12 1933
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
大数据平台搭建------CDH单机部署
CarbonDioxide12138的博客
03-17 4269
       从 17年十一月入职起，到中间经历了毕业、春节、转正。在工作岗位上学到了很多很多的东西，非常有幸遇到这么一群人生导师，早就想把工作中趟过的坑，总结的文档，开个博客记录起来，一来可以给其他人参考，二来也是自己的一个复习吧。可是拖延症作祟，这事，一直耽搁，争取以后每周至少总结两篇。加油，未来的路很长！--------------------------------------------...
cdh环境搭建(一)环境准备
测试
12-07 262
cdh环境搭建(一)环境准备 环境准备 1.卸载系统自带的jdk 查询系统自带jdk rpm -qa | grep java java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64 java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64 tzdata-java-2012j-1.el6.noarch java-1.6.0-op...
大数据CDH怎么搭建
02-12
大数据CDH搭建主要分为三步：1、安装CDH；2、配置CDH；3、启动CDH集群。具体步骤可以参考官方文档：https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_install_cdh.html
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值