Centos7中用Ambari快速搭建大数据平台攻略（一）

最新推荐文章于 2024-05-07 17:57:40 发布
最新推荐文章于 2024-05-07 17:57:40 发布
阅读量4.6k 收藏 12
点赞数 4
分类专栏： hadoop集群搭建 文章标签： Centos7.4 Ambari mysql5.7 HDP Hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiaowoshouzi/article/details/80675007
版权

背景：

      因为业务要求，需要在三台物理服务器上搭建大数据平台。经过多方查找资料，最终搭建成功。

      鉴于   1）搭建过程中，出现很多小问题，解决起来花费大量的精力和时间

               2）解决问题查找资料时候，多数资料都比较老了，并且不够系统

               3）在物理服务器上搭建的资料较少，有必要进行补充

               4）将解决过程分享给有类似业务需求的新手们，节省时间

     出于上述考量，对本次操作过程做一个整理。后边还需要用Docer技术与Ambari的结合，有兴趣的小伙伴可以一起交流交流。

目录

Ambari 是什么

基础集群信息：

1.配置静态IP、DNS

2.配置hostname

3.关闭防火墙与SElinux

4.SSH无密码登陆

5. 修改YUM源

6.JDK1.8

7.NTP时间同步

6.安装HTTP服务器（后期要用的）

7.安装mysql

8.安装nginx（存疑、我没有安装但是不影响后期正常使用）

9.安装mysql jdbc 

Ambari 是什么

Ambari 是创建、管理、监视 Hadoop 的集群的软件。这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper ，Spark等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。 Ambari 现在所支持的平台组件也越来越多，例如流行的 Spark，Storm 等计算框架，以及资源调度平台 YARN 等，我们都能轻松地通过 Ambari 来进行部署，为想构建大数据平台的初学者提供了很大的便捷。 
 

Ambari 自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent。简单来说，用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件；Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server，最终这些状态信息会呈现在 Ambari 的 GUI，方便用户了解到集群的各种状态，并进行相应的维护。详细的操作和介绍会在后续章节介绍。

基础集群信息：

 

服务器配置服务器IPhostname系统版本
CPU12核/内存64G/4T硬盘192.168.9.61ambari01.hadoopCentOS Linux release 7.4.1708 (Core)
CPU12核/内存64G/4T硬盘192.168.9.62ambari02.hadoopCentOS Linux release 7.4.1708 (Core)
CPU8核/内存64G/4T硬盘192.168.9.63ambari03.hadoopCentOS Linux release 7.5.1708 (Core)

      

通过资料查询，发现需要很多准备工作要做。主要的时间浪费也是在这一部分。在查询文献资料过程中发现文献资料相互间说的都不太一样。本文尽可能多的准备了前期环境，进行分享。

1.配置静态IP、DNS

首先，进入到网卡，然后编辑。

[root@ambari-1 ~]# cd /etc/sysconfig/network-scripts
[root@ambari-1 network-scripts]# vim ifcfg-enp0s31f （显卡名字不一样“ls”查看下再编辑）

网卡编辑详细信息

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static #配置静态IP，网关，子网掩码
DEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yes
IPV6_FAILURE_FATAL=no
IPV6_AUTOCONF=yesIPV6_DEFROUTE=yes
UUID=028bc986-093a-4e51-8f5d-0a78690ec6c5
IPV6_ADDR_GEN_MODE=stable-privacyNAME=enp0s31f6
DEVICE=enp0s31f6
ONBOOT=yes #表示系统将在启动时开启该接口。
IPADDR0=192.168.9.61 #设置IP地址
PREFIXO0=24 #设置子网掩码
DNS1=8.8.8.8 #设置主DNS
GATEWAY0=192.168.9.1 #设置网关
DNS2=114.114.114.114 #设置备DNS

 

配置完静态IP后重启网络服务     

 

systemctl restart network.service

ping www.baidu.com验证是否可以访问外网，能ping通百度说明配置完成。

 

2.配置hostname

过程如下（每一台服务器都要这样设置，这样服务器间才可以互相ping通）

2.1 配置hostname

vi /etc/hostname
NETWORKING=yes
HOSTNAME= ambari-1

 

2.2 配置hosts文件

 

[root@ambari-1 ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.9.63 ambari-3
192.168.9.61 ambari-1
192.168.9.62 ambari-2

 

hostname和hosts改完之后，统一把所有机器重启一遍！让配置生效！

 

 

3.关闭防火墙与SElinux

3.1 关闭防火墙

 
systemctl disable firewalld.service
systemctl stop firewalld.service

 

3.2. 关闭SElinux

 

[root@ambari-1 ~]# vi /etc/sysconfig/selinux

# This file controls the state of SELinux on the system.

# SELINUX= can take one of these three values:

# permissive - SELinux prints warnings instead of enforcing.

# enforcing - SELinux security policy is enforced.# disabled - No SELinux policy is loaded.

# targeted - Targeted processes are protected,

SELINUX=disabled# SELINUXTYPE= can take one of three two values:

# mls - Multi Level Security protection.

# minimum - Modification of targeted policy. Only selected processes are protected.
 

SELINUXTYPE=targeted

将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效

4.SSH无密码登陆

 

在Ambari Server节点执行如下命令：

ssh-keygen -t rsa （回车后再按连续三个回车）
cd .ssh/
cat id_rsa.pub >> authorized_keys

分别在其他三台机器上创建/root/.ssh目录，如下：

# mkdir /root/.ssh


然后将authorized_keys拷贝到其他两台机器的.ssh目录，如下：

scp authorized_keys ambari-2:/root/.ssh/

scp authorized_keys ambari-3:/root/.ssh/

验证配置：

[root@ambari-1 ~]# ssh ambari-1 date; ssh ambari-2 date; ssh ambari-3 date;
Thu Jun 14 06:10:20 EDT 2018Thu Jun 14 06:10:20 EDT 2018
Thu Jun 14 06:10:21 EDT 2018

 

5. 修改YUM源

改用阿里云镜像站点

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bkwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

 

yum makecache

ps：这个可以自己找一些其他的YUM源

其实也可以直接下载163或者阿里的源放到/etc/yum.repo.d 上

 

6.JDK1.8

jdk安装相对简单很多，可以直接去官网下载，也可以直接去wget下载

 
$ mkdir /usr/local/src

$ wget http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gz?AuthParam=1480914946_a78f7ba2e70d2f0abed0b0af73c74214
$ mkdir -p /opt/java/ && tar xf jdk-8u112-linux-x64.tar.gz -C /opt/java

 

$ vim /etc/profile

添加下面内容：

export JAVA_HOME=/opt/java/jdk1.8.0_112

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

$ source /etc/profile #这样环境变量能马上生效

 

7.NTP时间同步

以ambari-1为ntp校准服务器

$ yum -y install ntp

$ systemctl is-enabled ntpd

$ systemctl enable ntpd

$ systemctl start ntpd

[root@ambari-1 ~]#  vi /etc/ntp.conf

restrict 127.0.0.1

restrict -6 ::1

# Hosts on local network are less restricted.

#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

restrict 192.168.10.0 mask 255.255.240.0 nomodify notrap //允许的网络字段连接ip限制

server 127.127.1.0 perfer //以本机时间为准fudge 127.127.1.0 stratum 10#server 0.centos.pool.ntp.org iburst //全部注释掉

#server 3.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst
 

各个客户端(slave1,2,3,4,5)配置如下：

[root@ambari-2 ~]#  vi /etc/ntp.conf

server ambari-1  //指定ntp 服务器,为ambari-1

#server 0.centos.pool.ntp.org iburst //全部注释掉

#server 1.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

 

启动全部节点ntp服务；        

                                    systemctl start ntpd.service

检查是否成功用“ntpstat”命令查看同步状态，出现以下状态代表启动成功

[root@ambari-1 ~]# ntpstat

synchronised to NTP server (192.168.9.1) at stratum 3

time correct to within 47 ms

polling server every 1024 s

 

ps：请求服务器前，请先使用ntpdate手动同步一下时间：ntpdate -umaster (主节点ntp服务器)这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务：

                                                     systemctl start ntpd.service

 

6.安装HTTP服务器（后期要用的）

这个操作比较简单，主要作用在为后期安装ambari制作本地源时候用的。

 

安装：yum install httpd

启动：systemctl start httpd.service

修改网站默认的根目录（一般都是默认var/www/html 所以不用改）

vi /etc/httpd/conf/httpd.conf

# DocumentRoot: Thedirectory out of which you will serve your

# documents. Bydefault, all requests are taken from this directory, but

# symbolic links andaliases may be used to point to other locations.

# This should bechanged to whatever you set DocumentRoot to.

#DocumentRoot"/var/www/html"#

#<Directory"/var/www/html">
 

7.安装mysql

mysql的安装浪费了大量的时间，尝试了很多种安装mysql5.7的方法。本文推荐使用RPM包方式安装方式。

7.1 卸载系统自带的 mysql和mariadb-lib
 

/bin/rpm -e $(/bin/rpm -qa | grep mysql|xargs) --nodeps
/bin/rpm -e $(/bin/rpm -qa | grep mariadb|xargs) --nodeps

 

2）下载mysql5.7.21 rpm安装包

下载地址：http://ftp.ntu.edu.tw/MySQL/Downloads/MySQL-5.7/

[root@ambari-1 ~]# wget http://ftp.ntu.edu.tw/MySQL/Downloads/MySQL-5.7/mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar

[root@ambari-1 ~]# tar -vxf mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar

依次执行（几个包有依赖关系，所以执行有先后）下面命令安装 

[root@ambari-1 ~]# rpm -ivh mysql-community-common-5.7.21-1.el7.x86_64.rpm --force

[root@ambari-1 ~]# rpm -ivh mysql-community-libs-5.7.21-1.el7.x86_64.rpm --force

[root@ambari-1 ~]# rpm -ivh mysql-community-server-5.7.21-1.el7.x86_64.rpm --force

[root@ambari-1 ~]# rpm -ivh mysql-community-client-5.7.21-1.el7.x86_64.rpm --force

 

可能在安装mysql-community-server-5.7.21-1.el7.x86_64.rpm的时候会有如下报错：

[root@ambari-1 ~]# rpm -ivh mysql-community-server-5.7.21-1.el7.x86_64.rpm --force

warning: mysql-community-server-5.7.21-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY

error: Failed dependencies: libaio.so.1()(64bit) is needed by mysql-community-server-5.7.21-1.el7.x86_64

libaio.so.1(LIBAIO_0.4)(64bit) is needed by mysql-community-server-5.7.21-1.el7.x86_64

libaio.so.1(LIBAIO_0.1)(64bit) is needed by mysql-community-server-5.7.21-1.el7.x86_64

net-tools is needed by mysql-community-server-5.7.21-1.el7.x86_64  

 

这个报错的意思是需要安装libaio包和net-tools包：

安装libaio-0.3.107-10.el6.x86_64.rpm

[root@ambari-1 ~]# wget http://mirror.centos.org/centos/6/os/x86_64/Packages/libaio-0.3.107-10.el6.x86_64.rpm

[root@ambari-1 ~]# rpm -ivh libaio-0.3.107-10.el6.x86_64.rpm --force 安装net-tools

[root@ambari-1 ~]# yum install net-tools

 

使用rpm安装方式安装mysql，安装的路径如下：

数据库目录   

 var/lib/mysql/

配置文件

/usr/share/mysql(mysql.server命令及配置文件)

/etc/my.cnf

相关命令

/usr/bin(mysqladmin mysqldump等命令)

启动脚本

/etc/rc.d/init.d/(启动脚本文件mysql的目录) 

7.3 数据库初始化 

为了保证数据库目录为与文件的所有者为 mysql 登陆用户，如果你是以 root 身份运行 mysql 服务，需要执行下面的命令初始化

[root@ambari-1 ~]# mysql_install_db --datadir=/var/lib/mysql //必须指定datadir,执行后会生成~/.mysql_secret密码文件

[root@ambari-1 ~]# mysqld --initialize --user=mysql//新版的推荐此方法，执行生会在/var/log/mysqld.log生成随机密码。如果是以mysql身份运行，则可以去掉--user选项。

 

7.4 更改mysql数据库目录的所属用户及其所属组，然后启动mysql数据库

[root@ambari-1 ~]# chown mysql:mysql /var/lib/mysql -R

[root@ambari-1 ~]# systemctl start mysqld.service //启动mysql数据库服务

7.5 根据第7.3中的密码登录到mysql，更改root用户的密码

         ps：新版的mysql在第一次登录后更改密码前是不能执行任何命令的

   另外--initialize 选项默认以“安全”模式来初始化，则会为 root 用户生成一个密码并将该密码标记为过期，登陆后你需要设置一个新的密码，而使用--initialize-insecure命令则不使用安全模式，则不会为 root 用户生成一个密码。    这里演示使用的--initialize初始化的，会生成一个 root 账户密码，密码在log文件里，如下最后的")1r3gi,hjgQa"即为随即生成的root密码

[root@ambari-1 ~]# cat /var/log/mysqld.log

.......

07T04:41:58.420558Z 1 [Note] A temporary password is generated for root@localhost: )1r3gi,hjgQa

[root@ambari-1 ~]# mysql -uroot -p')1r3gi,hjgQa'mysql> set password=password('ambari-1@123');

mysql> flush privileges

 

当然，也可以不用随机密码。（不用密码登陆为mysql修改密码）

ps：本方法 与上面的方法任选一个就可以了

1.停止mysql服务                       

             systemctl stop mysqld.service

2.修改配置文件无密码登录              

              vim  /etc/my.cnf   

     最后加上：     

              “skip-grant-tables”    保存然后退出

3.启动mysql

               systemctl  start  mysqld.service

4.登录mysql                              

               mysql -u root            ps：注意这里不要加-p

5.修改密码，mysql5.7用此语法                       

 use mysql;                         

update mysql.user set authentication_string=password('123456') where user='root' ;  

6.回到第2步部把刚加的那句删掉，然后保存，重启mysql就可以了

8.安装nginx（存疑、我没有安装但是不影响后期正常使用）

安装失败了，有点怀疑这个作用。

9.安装mysql jdbc 

自己直接下载个jar包也可以，这样来回移动着方便

yum install mysql-connector-java -y

ps：我使用另一种方法直接下载压缩的jar包，放在/usr/share/java 下面     

下班了，未完待续... 

下一篇传送门： Ambari快速搭建大数据平台（二）

废柴当自强
关注
  • 4
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
202x年ambari搭建大数据平台安装手册(专业完整版).pdf
05-19
本文档主要介绍了使用 Ambari 搭建大数据平台的安装手册，对于大数据的安装和配置进行了详细的介绍。 大数据平台的基本概念： * 大数据是指无法在一定时间内用传统处理方式处理的巨量数据，包括结构化、非结构化和...
【Ambari】CentOS7.3 内网环境安装Ambari2.7.4+HDP3.1.4（阿里云服务器）
康师傅没有眼泪
05-22 2681
Ambari 安装，将系统时钟和世界协调时UTC同步，精度在局域网内可达0.1ms，在互联网上绝大多数的地方精度可以达到1-50ms，项目官网：http://www.ntp.org。说明：之后将ambari-server 安装在了10.168.138.188 机器上，安装过程是一样的，安装失败后，我重新选择了更多的组件。-------------------------------------🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅，敬请批评指正！
Ambari2.7.5集群搭建详细流程
不以物喜的博客
02-17 2075
本文基于本地虚拟机从零开始搭建ambari集群。
BigData（一）：准备工作CentOS7
最新发布
风在江湖
05-07 2041
前言： CentOS选择 最近使用了Hadoop，感觉还好，但是避免忘却，所以删除了我的3台虚拟机程序，重头开始，也希望这次能记录所有的过程！ 首先：准备您的硬件，我当时使用了笔记本，想装一台虚拟机，是4G内存的，但是Vm这个软件装成功之后，我装系统直接崩溃，我最后选择了16G的电脑（特意买的，但是我的台式机是8G），我的预期打算：3台虚拟机，每台机器4G，我看到有人是用...
Ambari 搭建
qq_42496461的博客
01-11 393
基于华为云服务器 CentOS 7.x 搭建Ambari集群
全网最详细的ambari集群搭建详细步骤
luo981695830的博客
05-01 7767
1、服务器环境说明 集群三台节点 可以互相访问 使用root用户 配置免密 centos7 ambari-2.6.2.2 hdp-2.6.5 我的环境如下： 192.168.8.105 my-hdp1 192.168.8.106 my-hdp2 192.168.8.107 my-hdp3 2、防火墙设置 #查看防火墙状态 systemctl status firewalld #关闭防火墙 systemctl stop firewalld #设置防火墙服务开机不自启 system.
Centos7搭建Ambari
qq_57305150的博客
11-09 1210
搭建Hadoop_Ambari（含包）
Centos6.5 ambari 搭建配置大数据集群环境
09-05
【CentOS 6.5】搭建配置大数据集群环境的关键在于使用Ambari工具，Ambari是一个由Apache软件基金会开发的开源项目，主要用于简化Hadoop生态系统的管理和部署。它支持包括HDFS、MapReduce、Hive、Pig、HBase、...
Ambari大数据管理平台
02-27
Ambari是一款开源的大数据管理平台，由Apache软件基金会维护。它提供了一个统一的管理界面，用于监控和管理大数据集群。 Ambari支持多种大数据组件，如Hadoop、Hive、Pig、Sqoop等。 在本文档中，我们将详细介绍...
CentOS7局域网下安装离线Ambari
01-06
CentOS7局域网下安装离线Ambari CentOS7局域网下安装离线Ambari CentOS7局域网下安装离线Ambari CentOS7局域网下安装离线Ambari
大数据hadoop，centos7的安装
05-30
格式化文件系统（仅第一次执行即可，不要重复执行）：hdfs/hadoop namenode -format 启动hdfs: sbin/start-dfs.sh 验证是否启动成功： jps DataNode SecondaryNameNode NameNode 浏览器访问方式： ...
ambari平台的搭建
03-29
ubuntu 14.04 ambari平台的搭建，经过测试，可用！！！
Centos7.2安装Ambari2.4.2+HDP2.5.3搭建Hadoop集群
11-18
Centos7.2安装Ambari2.4.2+HDP2.5.3搭建Hadoop集群 http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos7.tar.gz
Redhat7.3局域网使用ambari安装大数据平台
09-16
1. 在局域网内搭建http服务，构建yum源 2. 在局域网内安装ambari以及安装过程中出现问题的处理 3. 搭建大数据环境问题处理
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）
小强签名设计 的博客
08-22 6363
Centos7.2下载地址：http://archive.kernel.org/centos-vault/7.2.1511/isos/x86_64/CentOS-7-x86_64-DVD-1511.isoCentos7.2安装教程：http://1130739.blog.51cto.com/1120739/1738791附：CentOS官网历史发行版本下载地址：http://archive.ker...
【Ambari】2.5.1.0.0汉化、构建和安装
如切如磋，如琢如磨，臻于至善。
08-21 5373
环境准备 我使用的Centos7环境(其他的环境ubuntu,debian可能不太一样),在Centos7上安装依赖的软件包。 首先下载maven3.5，jdk8，python2.6并配置好环境变量yum install -y git svn node python-devel rpm-build gcc-c++ 下载源码 首先从Ambari下载页面选择适合的镜像下载源码包。也可以直接执
大数据平台Ambari2.7.4+HDP3.1.4详细安装教程
csdnuser267的博客
10-19 1223
Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。Ambari是一个基于web的工具，用于配置、管理和监视Hadoop集群，同样还提供了集群状况仪表盘，通过界面方便用户查看问题及管理组件。
ambari 安装及使用ambari安装hadoop记录
yujianbujianqwe的博客
08-15 1984
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。百度百科-验证。
centos7安装ambari超详细步骤
weixin_46168298的博客
06-06 2698
centos7 部署安装ambari 超详细教程

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值