使用ambari安装Hadoop集群

已于 2023-01-06 17:21:01 修改
阅读量4.6k 收藏 13
点赞数 1
分类专栏： HDFS 文章标签： hadoop ambari 服务器
于 2021-07-09 17:55:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hm_rq/article/details/118361286
版权
该文详细介绍了在CentOS操作系统上进行的环境准备工作，包括操作系统设置、用户管理、SSH互信、NTP同步、yum源配置等。接着，文章讲述了如何安装MySQL服务，创建数据库，并配置了Kerberos服务。然后，部署了Hadoop集群的基础组件，包括安装和配置相关服务。最后，文中提到了在安装过程中遇到的yum包错误和MySQL安装冲突的解决办法。
摘要由CSDN通过智能技术生成

一、环境准备

1.操作系统检查

  1. 操作系统版本检查

    cat /etc/redhat-release

  2. 操作系统默认语言检查

    echo $LANG
echo 'export LANG=en_US.UTF-8' >> ~/.bashrc

  3. 操作系统时区设置

    	cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

  4. 设置主机名
    vi /etc/sysconfig/network

    NETWORKING=yes
HOSTNAME=node1

    设置命令：（hostnamectl set-hostname {主机名}）

    vi /etc/hosts

    scp /etc/hosts root@{hosts}:/etc/hosts

  5. 验证：
    hostname -i 正确返回主机ip
    hostname -f 正确返回主机名称

  6. 创建普通用户

	groupadd username
	2)	useradd -g username -d /home/username username  //username分别对应用户目录、创建的用户
	3)	echo "root@123" | passwd --stdin username   //修改username密码
	4)	授sudo权限
	cp /etc/sudoers /etc/sudoers_bak
	echo "userName ALL=(ALL) NOPASSWD:ALL" >> /etc/sudoers

  1. 设置节点互信

    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub userName@{target_host}
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

  2. 配置http

    rpm -qa|grep http
yum install yum-utils createrepo yum-plugin-priorities httpd

    vi /etc/httpd/conf/httpd.conf
    修改“#ServerName www.example.com:80”去掉#，改为ServerName ip:80

    systemctl enable httpd
    systemctl restart httpd

  3. 配置yum源
    vi /etc/yum.repos.d/ambari.repo

    [ambari-2.7.3]
name=ambari-2.7.3
baseurl=http://ip/xxx/ambari/centos7/2.7.3.0-139/
gpgkey=http://ip/xxx/ambari/centos7/2.7.3.0-139/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
gpgcheck=0
enabled=1

    同步ambari.repo文件
    清空repo缓存
    yum clean all
    验证
    yum repolist

  4. 时钟同步
    10.1 安装ntp服务：

    rpm  -qa|grep ntp
yum install  -y ntp
systemctl is-enabled ntpd
systemctl enable ntpd

    10.2 ntp server端配置文件
    vi /etc/ntp.conf

    restrict 192.168.6.3 nomodify notrap nopeer noquery          //当前节点IP地址
restrict 192.168.6.1 mask 255.255.255.0 nomodify notrap  //集群所在网段的网关（Gateway），子网掩码（Genmask）
server 127.127.1.0
Fudge 127.127.1.0 stratum 10

    10.3 ntp client端配置文件
    vi /etc/ntp.conf

    restrict 192.168.6.4 nomodify notrap nopeer noquery          //当前节点IP地址
restrict 192.168.6.1 mask 255.255.255.0 nomodify notrap  //集群所在网段的网关（Gateway），子网掩码（Genmask）
server 192.168.6.3
Fudge 192.168.6.3 stratum 10

    重启所有主机ntp服务
    systemctl restart ntpd
    client验证：ntpstat

  5. 关闭防火墙

    systemctl disable firewalld
systemctl stop firewalld
systemctl disable iptables
systemctl stop iptables

  6. 关闭SELinux
    getenforce
    临时关闭：setenforce 0

    vi /etc/selinux/config

    SELINUX=disabled

  7. 设置packagekit
    vi /etc/yum/pluginconf.d/refresh-packagekit.conf

    enabled=0

  8. 设置umask
    umask 0022

    echo umask 0022 >> /etc/profile

  9. 设置ulimit、nproc
    vi /etc/security/limits.d/user.conf

    userName  soft nofile  655350
userName  hard nofile  655350
userName  soft nproc  655350
userName  hard nproc  655350

  10. 禁用透明大叶THP
    cat /sys/kernel/mm/transparent_hugepage/defrag
    cat /sys/kernel/mm/transparent_hugepage/enabled
    临时生效：
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
    echo never > /sys/kernel/mm/transparent_hugepage/enabled

    vi /etc/rc.d/rc.local

    if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

    chmod +x /etc/rc.d/rc.local

  11. 禁用交换分区
    sysctl vm.swappiness=0

    echo vm.swappiness=0 >> /etc/sysctl.conf

  12. jdk
    vi /etc/profile

    export JAVA_HOME=/usr/local/jdk1.8.0_91
export PATH=$PATH:$JAVA_HOME/bin

二、安装ambari服务

  1. MySQL-HA

    查看MySQL
rpm -qa|grep mysql
rpm -qa|grep mariadb
卸载MySQL
rpm -e --nodeps mysql-5.1.73-7.el6.x86_64
rpm -e --nodeps mysql-connector-odbc-5.1.5r1144-7.el6.x86_64
rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
安装
依赖关系依次为common→libs→client→server
rpm -ivh mysql-community-common-5.7.**.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7. **.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7. **-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7. **-1.el7.x86_64.rpm
yum install mysql-connector-java.noarch

    vi /etc/my.cnf

    init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
#不区分大小写
lower_case_table_names=1

    systemctl start mysqld
    systemctl enable mysqld
    找到临时登录密码：grep password /var/log/mysqld.log
    mysql -u root -p

    修改root密码
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=1;
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'root@123';

增加root远程登录
mysql> CREATE USER 'root'@'%' IDENTIFIED BY 'root@123';
mysql> grant all privileges on *.* to 'root'@'%' with grant option;
mysql> FLUSH PRIVILEGES;
mysql> grant all privileges on *.* to root@'%' identified by 'xxxxxx';
mysql> 
mysql> 
mysql> FLUSH PRIVILEGES;

CREATE USER 'ranger'@'%' IDENTIFIED BY 'ranger123';
GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%' WITH GRANT OPTION;

  2. 安装ambari服务

    sudo yum -y install ambari-server
sudo ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
sudo ambari-server setup

创建ambari数据库：
mysql>create database ambari;
mysql> use ambari;
mysql>CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari123';
mysql>GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
mysql>FLUSH PRIVILEGES;
mysql>source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

三、部署Hadoop集群

  1. 安装基本组件服务

    sudo ambari-server start

  2. 开启Kerberos

    安装Kerberos服务
yum -y install krb5-libs krb5-server krb5-workstation krb5-auth-dialog

配置krb5.conf文件
vi /etc/krb5.conf

# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 default_realm = HADOOP.COM
 default_ccache_name = KEYRING:persistent:%{uid}

[realms]
 HADOOP.COM = {
 kdc = node01
 admin_server = node01
 }

[domain_realm]
# .hadoop.com = HADOOP.COM
# hadoop.com = HADOOP.COM	


配置kdc.conf配置文件
vi /var/kerberos/krb5kdc/kdc.conf

[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88

[realms]
 # 修改域名称为HADOOP.COM
 HADOOP.COM = {
  #master_key_type = aes256‐cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256‐cts:normal aes128‐cts:normal des3‐hmac‐sha1:normal arcfour‐hmac:normal camellia256‐cts:normal camellia128‐cts:normal des‐hmac‐sha1:normal des‐cbc‐md5:normal des‐cbc‐crc:normal
 }

配置kadm5.acl文件
vi /var/kerberos/krb5kdc/kadm5.acl
# 修改域名称为HADOOP.COM
*/admin@HADOOP.COM *

创建KDC数据库
kdb5_util create -r HADOOP.COM -s
输入key: kdc@123


systemctl start krb5kdc
systemctl start kadmin
systemctl enable krb5kdc
systemctl enable kadmin

创建Kerberos数据库的管理员账户
kadmin.local -q "addprinc admin/admin"
输入密码： kdc@123

测试：
查看所有principal，kadmin.local进入交互命令
kadmin.local: list_principals

认证验证：
kinit admin/admin
klist

创建一个principal:
kadmin.local ‐q "addprinc wus01/admin"

  3. 安装ldap

    yum -y install openldap-servers openldap-clients
cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
chown ldap:ldap /var/lib/ldap/DB_CONFIG
systemctl start slapd
systemctl enable slapd

四、问题

  1. yum安装包HTTP Error 416问题
    在这里插入图片描述
    解决方式：

    1. 在配置的yum源安装包的路径下执行：createrepo ./
      2.清理yum缓存：rm -rf /var/cache/yum

  2. 安装MySQL遇到冲突：

    1. 卸载：
      rpm -ev postfix-2:2.10.1-6.el7.x86_64
      rpm -ev mariadb-libs-1:5.5.56-2.el7.x86_64
    2. 在依次执行安装命令
      rpm -ivh mysql-community-common-5.7.22-1.el7.x86_64.rpm
      rpm -ivh mysql-community-libs-5.7.22-1.el7.x86_64.rpm
      rpm -ivh mysql-community-client-5.7.22-1.el7.x86_64.rpm
      rpm -ivh mysql-community-server-5.7.22-1.el7.x86_64.rpm
    3. 缺少mysqlclient.so
      安装：rpm -ivh mysql-community-libs-compat-5.7.22-1.el7.x86_64.rpm

  3. 缺少 libtirpc-devel
    手工下载程序包并安装：
    libtirpc-0.2.4-0.16.el7.x86_64.rpm
    libtirpc-devel-0.2.4-0.16.el7.x86_64.rpm

使用Apache Ambari管理Hadoop集群
DqClojure的博客
10-04 170
Apache Ambari是一个开源的集群管理工具，用于简化和自动化Hadoop集群的部署、配置、监控和管理。通过Ambari，管理员可以轻松地设置和管理集群的各个组件，包括Hadoop分布式文件系统（HDFS）、YARN资源管理器、MapReduce作业历史服务器等。Ambari提供了丰富的监控和管理功能，可以通过Web界面来查看集群的状态、资源使用情况、日志等信息。在Ambari Web界面中，选择"创建集群"选项，并按照指导完成集群创建过程。首先，需要在一台服务器上安装和配置Ambari服务器。
ambari部署Hadoop集群
巧克力人生的博客
03-17 810
ambari部署Hadoop集群 在三台初始机器上部署： 192.168.56.101 centos01 192.168.56.102 centos02 192.168.56.103 centos03 配置yum yum源可以使用public repository，也可以在本地局域网搭建本地repository。 使用public repository，则在centos01上修改本地/etc/y...
使用Ambari搭建Hadoop集群
08-20
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
Ambari搭建Hadoop集群 — — 问题总结
最新发布
SoyMilk的博客
10-06 1386
参考硬盘：master（29 GB）、slave1（29 GB）、slave2(29 GB)内存：master（4 GB）、slave1（2 GB）、slave2（2 GB）处理器：master（1个处理器，4个内核）、slave1（1个处理器，2个内核）、slave2（1个处理器、2个内核）推荐配置硬盘：master（30 GB）、slave1（25 GB）、slave2(25 GB)内存：master（4 GB）、slave1（2 GB）、slave2（2 GB）
【Ambari】Ambari搭建Hadoop集群
Hombre sin rostro的博客
04-09 1170
【Ambari】Ambari搭建Hadoop集群配置说明基础环境修改主机名和hosts文件关闭防火墙和selinuxjdk下载配置yum 离线安装 mysql免密操作：使 ambari-server 节点免密操作 ambari-agent 节点hadoop 各节点主机保持始终同步主节点从节点安装配置 ambari-server搭建 yum 本地源mysql 用户设置使用 yum 安装 ambari...
使用Ambari安装Hadoop集群
zaizai116561的博客
07-28 716
声明：此次安装使用版本为Linux6.6，ambari文件ambari-1.7.0-centos6.tar.gz，HDP文件HDP-2.2.0.0-centos6-rpm.tar.gz，HDP-UTILS文件HDP-UTILS-1.1.0.20-centos6.tar.gz 关于Hadoop的一些组件需要用到的传统型数据库：MySQL,Derby，PostgerSQL。在Ambari安装过程中会
使用 Ambari 安装 Hadoop 集群
Leo's Blog
06-29 3599
一.环境:    1.Ubuntu 14.04    2.Ambari 2.5.0   3.JDK1.8 二:说明:   1.使用 root 用户   2.如果仅用作 demo 使用,不建议单机开多台 vm,除非你的机器内存大于32G,使用单台vm执行以下步骤即可.   3.如果有多台机器可做集群,则给不同的机器设置不同的域名即可,如 [ ubuntu0.com, ubuntu1.c
Ambari部署Hadoop集群.doc
06-22
在使用Ambari部署Hadoop集群时，Ambari会引导用户完成各个组件的配置，包括网络设置、安全选项、存储布局等。通过Ambari，用户可以灵活地调整集群配置，满足不同业务需求。集群搭建完成后，Ambari将继续提供实时监控...
Ambari部署hadoop集群环境
weixin_38937633的博客
01-02 1330
 一、Ambari介绍 1.介绍：         Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。Ambari提供了一个直观的，易用的Hadoop管理web界面。         Ambari 自身也是一个分布式架构的软件， 采用的是Server/Client的模式，主要组件：ambari-age...
ambari安装及搭建hadoop大数据集群
01-21
ambari详细安装教程，已经ambari安装完成后详细的部署hadoop大数据集群
使用ambari安装hadoop集群
魂醉的一亩二分地
03-22 1057
之前一篇介绍了ambari的安装，这一篇介绍一下通过ambari安装Hadoop集群 登陆后，给自己的hadoop集群起个名字 选择HDP版本，并且选中use local repository 我们操作系统是centos7，所以选择对应的redhat7，后面写上yum源的URL地址，然后next即可 每一行一台主机，然后选中使用SSH Private Key,把192.168....
hadoop集群_Ambari搭建hadoop集群
weixin_39925350的博客
11-20 317
Ambari搭建hadoop集群Ambari提供了对Hadoop更加方便快捷的管理功能，主要包含：通过一步一步的安装向导简化了集群供应。预先配置好关键的运维指标（metrics），可以直接查看Hadoop Core（HDFS和MapReduce）及相关项目（如HBase、Hive和HCatalog）是否健康。支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。通过一个完整的RESTful ...
从零开始安装 Ambari (4) -- 通过 Ambari 部署 hadoop 集群
weixin_30832405的博客
02-13 290
1.打开http://192.168.242.181:8080 登陆的用户名/密码是 ： admin/admin 2.点击 “LAUNCH INSTALL WIZARD”，开始创建一个集群 3.为集群取一个名字 4.前面我们建了本地的资源库，这里选择 “Use Local Repository”。删除其它的OS，只留redhat7那一行。并且在Base...
Ambari系列（一）：在离线环境中自动化安装Hadoop集群
热门推荐
12-09 1万+
在企业真实生产环境中，应该是没有外网链接的，或者做了外网隔离，因此在离线环境下搭建集群很有价值。在内网集群中搭建yum服务器，安装ambari和集群，是一种比较好的解决思路。使用ambari在自动化搭建大规模集群，使传统模式下搭建集群的时间又数天到数周缩短到几天或者几小时，彻底提高集群建设效率，有效避免人为错误，并且ambari是ASF开源软件，明显优于cloudera manager等商业软件，是集群搭建的不二选择。
ambari安装hadoop
weixin_34161083的博客
09-29 128
前言 hadoop除了社区版之外，还有两个主流的分支，一个是cdh版本，一个是hdp版本，其中ambari是hdp版本的部署工具 1.ambari安装准备 https://docs.hortonworks.com/ ambari版块，找到installation ip role os java 10.110.92.148 ambari-master centos-7.2 1.8 ...
ambari部署Hadoop集群（1）
aoche3999的博客
07-29 274
本例使用hortonworks提供了 ambari的安装方法，而且还很详细。以下是在centos7上的安装步骤。 基础配置： 1.修改电脑的主机名 hostnamectl set-hostname xxx或者vi /etc/hostname 修改 2.编辑文件 /etc/sysconfig/network，添加下面的两行 NETWORKING=yes ...
Hortonworks Ambari搭建Hadoop集群：自动化部署与管理
本教程详细介绍了如何利用Hortonworks数据平台中的Ambari工具来搭建Hadoop集群环境。Hortonworks是一个基于Apache Hadoop的商业化数据处理和分析平台，它提供了一套完整的开源解决方案，包括MapReduce、HDFS、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值