cloudera_hadoop环境搭建

最新推荐文章于 2022-04-18 22:09:59 发布
最新推荐文章于 2022-04-18 22:09:59 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： cloudera hadoop centos 文章标签： cloudera hadoop linux centos cloudera_manager
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27081015/article/details/89374129
版权
hadoop 同时被 3 个专栏收录
1 篇文章 0 订阅
订阅专栏
centos
1 篇文章 0 订阅
订阅专栏
cloudera
0 篇文章 0 订阅
订阅专栏
本文详细介绍了如何在CentOS系统上安装基础软件、配置网络、更改Yum源，以及通过Cloudera Manager搭建Hadoop集群的过程，包括JDK、MySQL的安装，SSH免密配置，和Cloudera Manager的部署。
摘要由CSDN通过智能技术生成
  • 安装centos并修改配置
  1. 下载linux系统centos7
  2. 创建虚拟机centos7 一主一从
  1. 新建用户user，选择语言修改配置
  2. 下载http://mirrors.163.com/centos/7/os/x86_64/Packages/wget-1.14-15.el7_4.1.x86_64.rpm

安装 rpm -ivh wget-1.14-15.el7_4.1.x86_64.rpm

  1. 安装 vim

yum -y install vim-enhanced

 

  1. 安装:

dos2unix.x86_64 0:6.0.3-7.el7   yum install dos2unix

dos2unix xxxx.sh 转化dos 为linux系统sh

  1. 设置网络连接

ip addr查看ip

修改配置信息vi /ect/sysconfig/network-scripts/ ifcfg-ens33

重启网络service network restart

Xshell 远程连接

查看网络ifconfig

        安装 net-tools       sudo yum install net-tools

  1. 更改yum源：

 

Yum原本的源都在国外，更新特别浪费时间，我们改为阿里源：

 

首先我们将原来的源进行备份：

[root@localhost download]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

 

接下来我们用阿里源进行替换：

[root@localhost download]# wget -O/etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

[root@localhost download]# yum makecache

[root@localhost download]# yum update

关闭防火墙 并禁止重启启动

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动

时间同步

[root@master ~]# yum install -y ntp ntpdate

yum -y install ntp

systemctl enable ntpd

systemctl start ntpd

ntpdate -u cn.pool.ntp.org

3. 配置SSH

 · root用户创建密匙（所有机器）：

[root@master ssh]

 

Autossh.Sh

#!/bin/sh
########################################################
#
# 该脚本用来生成服务器之间的免密
# DEST_USER ：系统用户
# PASSWORD : 系统密码
# HOSTS_FILE : 服务器名称的配置文件
# 使用方法： sh xxx.sh remoteUser remotePassword hostsFile
#
########################################################


DEST_USER=root
PASSWORD=root
HOSTS_FILE=ip.list


#判断输入参数是否满足
if [ $# -ne 3 ]; then
    echo "ex: sh $0 remoteUser remotePassword hostsFile"
    exit 1
fi


SSH_DIR=~/.ssh
SCRIPT_PREFIX=./tmp
echo ===========================
# 先删除.ssh目录下的所有文件
rm -rf $SSH_DIR
mkdir $SSH_DIR
chmod 700 $SSH_DIR


# 2. generat ssh key
TMP_SCRIPT=$SCRIPT_PREFIX.sh
echo  "#!/usr/bin/expect">$TMP_SCRIPT
echo  "spawn ssh-keygen -b 1024 -t rsa">>$TMP_SCRIPT
echo  "expect *key*">>$TMP_SCRIPT
echo  "send \r">>$TMP_SCRIPT
if [ -f $SSH_DIR/id_rsa ]; then
    echo  "expect *verwrite*">>$TMP_SCRIPT
    echo  "send y\r">>$TMP_SCRIPT
fi
echo  "expect *passphrase*">>$TMP_SCRIPT
echo  "send \r">>$TMP_SCRIPT
echo  "expect *again:">>$TMP_SCRIPT
echo  "send \r">>$TMP_SCRIPT
echo  "interact">>$TMP_SCRIPT


chmod +x $TMP_SCRIPT


/usr/bin/expect $TMP_SCRIPT
rm $TMP_SCRIPT


# 3. generat file authorized_keys
cat $SSH_DIR/id_rsa.pub>>$SSH_DIR/authorized_keys


# 4. chmod 600 for file authorized_keys
chmod 600 $SSH_DIR/authorized_keys
echo ===========================
# 5. copy all files to other hosts
for ip in $(cat $HOSTS_FILE)
do
    if [ "x$ip" != "x" ]; then
        echo -------------------------
        TMP_SCRIPT=${SCRIPT_PREFIX}.$ip.sh
        # check known_hosts
        val=`ssh-keygen -F $ip`
        if [ "x$val" == "x" ]; then
            echo "$ip not in $SSH_DIR/known_hosts, need to add"
            val=`ssh-keyscan $ip 2>/dev/null`
            if [ "x$val" == "x" ]; then
                echo "ssh-keyscan $ip failed!"
            else
                echo $val>>$SSH_DIR/known_hosts
            fi
        fi
        echo "copy $SSH_DIR to $ip"

        echo  "#!/usr/bin/expect">$TMP_SCRIPT
        echo  "spawn scp -r  $SSH_DIR $DEST_USER@$ip:~/">>$TMP_SCRIPT
        echo  "expect *assword*">>$TMP_SCRIPT
        echo  "send $PASSWORD\r">>$TMP_SCRIPT
        echo  "interact">>$TMP_SCRIPT

        chmod +x $TMP_SCRIPT
        #echo "/usr/bin/expect $TMP_SCRIPT" >$TMP_SCRIPT.do
        #sh $TMP_SCRIPT.do&

        /usr/bin/expect $TMP_SCRIPT
        rm $TMP_SCRIPT
        echo "copy done."
    fi
done
echo done

Ip.list

192.168.1.184

Linux格式化sh文件：dos2unix auto.sh

执行脚本

[root@master ssh]# bash autossh.sh root root ip.list

脚本名字 用户名 密码 host文件地址

 

测试相互连接

修改文件ssh_config 添加访问配置

[root@master ssh]# vim /etc/ssh/ssh_config

StrictHostKeyChecking no

UserKnownHostsFile /dev/null

        连接成功（从机同时修改ssh_config文件）

二、 安装jdk

      下载 jdk

    wget http://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64.tar.gz

安装

rpm -ivh jdk-8u191-linux-x64.rpm

三． 安装mysql

下载mysql

解压

安装mysql

Yum install perl

安装如下：

rpm -ivh mysql-community-common-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.24-1-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.24-1-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.24-1-1.el7.x86_64.rpm

安装完成 启动 mysql  service mysqld restart

修改配置文件/etc/my.cnf

skip-grant-tables

登录数据库

进入mysql数据库

use mysql；

设置远程连接

update mysql.user set authentication_string=password(‘root’) where user='root'；

因为数据库对密码的设置有要求需要重新配置

mysql> set global validate_password_policy=0;

mysql> set global validate_password_mixed_case_count=0;

mysql> set global validate_password_number_count=3;

mysql> set global validate_password_special_char_count=0;

mysql> set global validate_password_length=3;

mysql> SHOW VARIABLES LIKE 'validate_password%';

 

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

mysql> FLUSH PRIVILEGES;

修改my.cnf配置文件删除添加信息skip-grant-tables ，并修改bind-address= 0.0.0.0 重启mysql

       

设置mysql 开机启动

systemctl enable mysqld.service

创建数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

  • 搭建hadoop集群-使用Cloudera部署
  1. cloudera简介

Cloudera作为一个强大的商业版数据中心管理工具，提供了各种能够快速稳定运行的数据计算框架，如Apache Spark；使用Apache Impala做为对HDFS，HBase的高性能SQL查询引擎；也带了Hive数据仓库工具帮助用户分析数据; 用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库；Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去对Hadoop上的计算任务进行一个可视化的协调优化，提高运行效率；同时Cloudera中提供的各种组件能让用户在一个可视化的UI界面中方便地管理，配置和监控Hadoop以及其它所有相关组件，并有一定的容错容灾处理；Cloudera作为一个广泛使用的商业版数据中心管理工具更是对数据的安全决不妥

  1. 下载Cloudera Manager

下载

wget http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz

下载 cdh http://archive.cloudera.com/cdh5/parcels/5.7.0/

wget http://archive.cloudera.com/cdh5/parcels/5.7.0/CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.7.0/CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1

  1. //解压cm tar包到指定目录所有服务器都要(或者在主节点解压好，然后通过scp到各个节点同一目录下)

[root@master download]#mkdir /opt/cloudera-manager

[root@master download]# tar -axvf cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz -C /opt/cloudera-manager 

  1. //创建cloudera-scm用户（所有节点）

[root@master download]# useradd --system --home=/opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 

  1. //在主节点创建cloudera-manager-server的本地元数据保存目录

[root@master download]# mkdir /var/cloudera-scm-server

[root@master download]# chown cloudera-scm:cloudera-scm /var/cloudera-scm-server

[root@master download]# chown cloudera-scm:cloudera-scm /opt/cloudera-manager

 

  1. //配置从节点cloudera-manger-agent指向主节点服务器

[root@slave download]# vi /opt/cloudera-manager/cm-5.14.0/etc/cloudera-scm-agent/config.ini

将server_host改为CMS所在的主机名即cdh1

 

  1. //主节点中创建parcel-repo仓库目录

[root@master download]# mkdir -p /opt/cloudera/parcel-repo

[root@master download]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

[root@master download]# cp CDH-5.14.0-1.cdh5.14.0.p0.18-el7.parcel CDH-5.14.0-1.cdh5.14.0.p0.18-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo

注意：其中CDH-5.14.0-1.cdh5.14.0.p0.18-el5.parcel.sha1 后缀要把1去掉

  1. //所有节点创建parcels目录

[root@master download]# mkdir -p /opt/cloudera/parcels

[root@master download]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

解释：Clouder-Manager将CDHs从主节点的/opt/cloudera/parcel-repo目录中抽取出来，分发解压激活到各个节点的/opt/cloudera/parcels目录中

  1. //初始脚本配置数据库scm_prepare_database.sh(在主节点上)

[root@master download]# /opt/cloudera-manager/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hmaster -uroot -proot --scm-host master scmdbn scmdbu scmdbp

说明：这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指：

mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。

- hmaster：数据库建立在cdh1主机上面,也就是主节点上面。

- uroot：root身份运行mysql。-root：mysql的root密码是root。

--scm-host master：CMS的主机，一般是和mysql安装的主机是在同一个主机上,最后三个参数是：数据库名，数据库用户名，数据库密码

  1. //启动主节点

[root@master download]# cp /opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

[root@master download]# chkconfig cloudera-scm-server on

[root@master download]# vi /etc/init.d/cloudera-scm-server

CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/opt/cloudera-manager/cm-5.14.0/etc/default

[root@master download]# service cloudera-scm-server start

  1. //同时为了保证在每次服务器重启的时候都能启动cloudera-scm-server，应该在开机启动脚本/etc/rc.local中加入命令：service cloudera-scm-server restart
  2. //启动cloudera-scm-agent所有节点

[root@cdhX ~]# mkdir /opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-agent

[root@cdhX ~]# cp /opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent

[root@cdhX ~]# chkconfig cloudera-scm-agent on

[root@cdhX ~]# vi /etc/init.d/cloudera-scm-agent

CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/opt/cloudera-manager/cm-5.14.0/etc/default

[root@cdhX ~]# service cloudera-scm-agent start

  1. //同时为了保证在每次服务器重启的时候都能启动cloudera-scm-agent，应该在开机启动脚本/etc/rc.local中加入命令：service cloudera-scm-agent restart
  2. 安装完成mannager在浏览器中打开

输入;192.168.1.152::7180  主机地址 cloudera 端口号 用户名admin 密码admin

 

 

砥砺-前行
关注
专栏目录
Cloudera大数据平台环境搭建傻瓜式说明书样本.docx
12-16
"Cloudera大数据平台环境搭建傻瓜式说明书样本" Cloudera大数据平台环境搭建是当前大数据处理和存储的主要解决方案之一。该平台提供了一个完整的解决方案，用于处理和存储大量的数据。为了搭建Cloudera大数据平台...
对Cloudera和Hadoop的认识
qq_43552025的博客
03-17 1822
各位程序猿（媛）大家吼啊~今天我又来分享大数据学习中的一些必要的东西。 谈到大数据，就不得不提到爬虫来抓取数据，但是抓取数据后又怎么分析数据进行数据挖掘呢？一般小量的数据是能够自己处理的，但是大到1PB,甚至1NB的数据该怎样分析呢？这样就有了Hadoop这玩意儿。 **Hadoop是一个用JAVA写的平台，是一个适合大数据的分布式存储和计算的平台。**主要是分布式文件系统，简单的说，如果...
Cloudera——Cloudera CDH集群安装部署
aof
07-16 561
设置主机名 配置/etc/hosts 10.1.12.61 bigdatadev01 bigdatadev01.lq.com 10.1.12.62 bigdatadev02 bigdatadev02.lq.com 10.1.12.63 bigdatadev03 big...
零基础CDH5Hadoop安装及踩坑实践（附资源）
weixin_40474941的博客
02-26 2493
@[TOC]一、安装配置虚拟机 （1）安装1个master和2个slave节点 VMware及CentOS安装步骤参考：https://blog.csdn.net/m0_50519965/article/details/116175873 按照以上步骤安装好虚拟机之后会遇到一下几个问题： 1.在CM上安装主节点parcel的时候提示磁盘空间不足，因此建议master节点的磁盘空间增加到40G或60G，我的配置是 内存 磁盘 master 8G 60G slaver1\slaver2 2
Cloudera Hadoop 集群安装(三台机器)
三丰的专栏
02-19 7417
简述：Hadoop的安装对环境有比较高的要求，需要比较大的内存，一般的机器很难满足，一个人也很难有两三台独立的主机，所以只能选择使用安装虚拟机的方式安装，但是主机的内存需要在8G以上。如果小于8G可以扩展内存后再做尝试。 公司使用的hadoop一般都不是apache下的hadoop，而是cloudera公司的hadoop，因为它除了提供hadoop外还提供了集成工具，所以，今天也
手工安装配置Cloudera组件-Hadoop
来啊 快活啊
08-31 1980
安装repo http://archive-primary.cloudera.com/cdh/ 存放着cdh1-3的所有文件 http://archive-primary.cloudera.com/cdh4/ 存放着cdh4的所有文件 http://archive-primary.cloudera.com/cdh5/ 存放着cdh5的所有文件 安装可以先从上边的地址下载对应的R
CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署
07-13
CDH，全称Cloudera Distribution Including Apache Hadoop，是由Cloudera公司提供的一个开源大数据平台，它包含了多个Apache项目，如Hadoop、HBase、Spark等，为企业级用户提供了统一的数据管理与分析解决方案。...
Hadoop集群环境搭建
最新发布
06-15
Hadoop集群环境搭建 Hadoop集群环境搭建是大数据处理的核心组件之一，本文将详细介绍Hadoop集群环境的搭建过程，包括集群规划、前置条件、免密登录、集群搭建、提交服务到集群等几个方面。 集群规划 在搭建Hadoop...
基于cloudera搭建hadoop集群
11-27
安装环境 4 四. 机器设置 5 1. 网络配置 5 2. 修改主机名(hostname) 6 3. 关闭selinux 6 4. 子节点互通配置 6 5. 用户sudo功能设置 7 6. 挂载硬盘 7 7. 配置yum源 9 8. 关闭防火墙 9 9. 配置ssh免key(可以不配置) ...
cdh 安装_使用Cloudera的CDH部署Hadoop：第四步，配置数据库和安装组件
weixin_39796868的博客
11-23 1121
导读这篇文章是关于使用CDH搭建Hadoop集群的第四步：配置数据库和安装集群组件。这篇文章有点长，主要是涉及的步骤较多，且配图也较多。虽然配图多，文章略显臃肿，但是“一图胜过千言万语”。如果觉得一次阅读不能完全消化，那么可以收藏，待到日后亲身实践时，以便参考。特别值得庆幸的是：这也是使用CDH搭建Hadoop集群的最后一步，执行完这一步，我们就可以愉快地开始大数据存储与计算之旅了。本文参考了Cl...
cloudera环境搭建
扣脚小生
09-04 1万+
一、cloudera背景介绍 Cloude Manager概述： CDH是Cloudera公司对整体hadoop集群环境进行监控与管理的企业级大数据管理平台。 Cloudera Manager分为： Cloudera Manager Server：对整个集群提供监控与管理操作。Cloudera Manager Server通过部署在不同设备上的Cloudera Manager Agent进...
大数据Hadoop集群的启动
赵广陆
10-27 1万+
目录1 启动准备工作1.1 配置操作系统的环境变量1.2 创建Hadoop数据目录1.3 格式化文件系统1.4 启动和关闭Hadoop1.5 验证Hadoop是否成功启动1.6 hadoop-daemon.sh的使用2 HDFS常用的操作命令3 hdfs的高级使用命令3.1 HDFS文件限额配置3.2 数量限额3.3 空间大小限额3.4 HDFS的管理命令3.5 hdfs的安全模式 1 启动准备工作 通过前面的配置现在可以启动Hadoop集群了，但是在首次启动Hadoop时还需要做一些准备工作。 1.1
Cloudera Manager安装CDH6教程-（一）虚拟环境安装配置
Carson073的博客
04-18 1900
一 CentOs7安装 1.1选择创建好的虚拟机，”开启此虚拟机“ 1.2选择安装centos7 1.3选择英文版安装 1.4配置时间 1.5软件选择 1.6系统分区设置 这里使用自动也是可以的，就不需要做如下的自定义配置 1.7网关配置 1.8开始安装 1.9修改密码（一定要记住哦），选择是否创建用户(这里没有创建)，等待安装完成 1.10同意协议，配置相关信息 二 配置IP 2.1查看原有IP ifconfig 2.2修改网络配置文件 #进入
我的Hadoop安装——使用Cloudera部署，管理Hadoop集群（离线安装CDH5.7.0）
热门推荐
lxf20054658的专栏
06-24 2万+
- 概述 - 文件下载 - 系统环境搭建 - Cloudera Manager安装与集群配置 - 日志查看 - Q&A - 参考 概述 CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可
Cloudera Hadoop环境搭建之一：环境准备与搭建cloudera manager软件
新梦易明
04-27 3750
Cloudera Hadoop环境搭建之一：环境准备 本系列笔记基于Hadoop发行版本CDH 5.12.2，CDH相关组件采用手动下载离线本地离线安装的方式，另外的全在线安装以及yum源下载软件包的安装方式没有进行测试过（搜索了很多文档说这两种方式在国内速度很慢不靠谱，也就放弃使用了）。 零、集群结构与服务器信息 本系列笔记的目标是搭建一套完全分布式的hadoop集群，准备采用操作系统...
cloudera CDH5 Hadoop集群全套安装部署流程
一轮的博客
03-01 6087
本文详细地写了如何用virtualbox虚拟机虚拟出两个节点并搭建Hadoop集群。 借助cloudera manager完成集群的搭建。 包括虚拟机安装Linux后的配置和克隆虚拟机的网卡配置， 时间同步，还有mysql数据库管理cloudera的各个用户。
hadoop (一)Cloudera Manager一键安装
weixin_40783112的博客
08-22 2027
hadoop (一)Cloudera Manager一键安装 一、Linux环境准备 cm安装要求，具体配置参考cloudera官网 centos需要使用6.4以上而且是64位的，同时对内存以及磁盘的空间都有严格的要求。 只有一台服务器的情况下 ，使用虚拟机安装了三台linux系统，如果一台服务器而且内存不够大的话，基本无法运行 二、准备工作 首先，配置给三台服务器配置好ip：vi...
Cloudera引导：快速搭建Hadoop开发环境
本篇Hadoop开发环境搭建教程主要介绍了如何利用Cloudera工具简化Apache Hadoop的安装、部署和管理工作。Hadoop作为一个开源的分布式并行编程框架，其MapReduce模型源自Google，专为大规模数据处理设计，尤其适用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值