手动安装hadoop

最新推荐文章于 2023-11-07 23:34:15 发布
最新推荐文章于 2023-11-07 23:34:15 发布
阅读量673 收藏 1
点赞数
文章标签： hadoop ambari
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41936232/article/details/86624390
版权

搭建ambari平台

搭建需求：vmware中开启两台虚拟机  

          一台命名为master

          一台命名为slaver1 

一、基础环境的搭建

1、修改本机名（所有机器）

方法一：通过vi /etc/hostname 进行修改  然后重启

方法二：hostnamectl set-hostname master  然后ctrl+d  重新连接

2、修改/etc/hosts文件（所有机器）

3、修改网络配置，使其可以连接外网（所有机器）

（1）查看网卡名称

[root@master ~]# ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

       valid_lft forever preferred_lft forever

    inet6 ::1/128 scope host

       valid_lft forever preferred_lft forever

2: eno16777736（这个就是我们要修改的网卡名）: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 00:0c:29:89:3a:31 brd ff:ff:ff:ff:ff:ff

    inet 192.168.11.111/24 brd 192.168.11.255 scope global eno16777736

       valid_lft forever preferred_lft forever

    inet6 fe80::20c:29ff:fe89:3a31/64 scope link

       valid_lft forever preferred_lft forever

（2）修改网卡配置

[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

TYPE="Ethernet"

BOOTPROTO="none"

DEFROUTE="yes"

IPV4_FAILURE_FATAL="yes"

IPV6INIT="yes"

IPV6_AUTOCONF="yes"

IPV6_DEFROUTE="yes"

IPV6_FAILURE_FATAL="no"

NAME="eno16777736"

UUID="26b5d002-b321-4c15-bb4c-f10b7ad54014"

DEVICE="eno16777736"

ONBOOT="yes"

IPADDR="192.168.11.111"

PREFIX="24"

GATEWAY="192.168.11.2"（我的网关为192.168.11.2，根据自己的虚拟机来修改）

IPV6_PEERDNS="yes"

IPV6_PEERROUTES="yes"

IPV6_PRIVACY="no"

DNS1=8.8.8.8（添加域名）

（3）修改完后重启网卡配置

[root@master ~]# systemctl restart network

（4）测试是否能ping通外网

4、关闭防火墙（所有机器）

（1）关闭firewalld

[root@master~]#systemctl disable firewalld

[root@master~]#systemctl stop firewalld

（2）关闭selinux

[root@master ~]# cat /etc/selinux/config

# This file controls the state of SELinux on the system.

# SELINUX= can take one of these three values:

#     enforcing - SELinux security policy is enforced.

#     permissive - SELinux prints warnings instead of enforcing.

#     disabled - No SELinux policy is loaded.

SELINUX=disabled

# SELINUXTYPE= can take one of these two values:

#     targeted - Targeted processes are protected,

#     mls - Multi Level Security protection.

SELINUXTYPE=targeted

（3）删除iptables规则

[root@master ~]# iptables -F

[root@master ~]# iptables -X

[root@master ~]# iptables -Z

[root@master ~]# /usr/sbin/iptables-save

# Generated by iptables-save v1.4.21 on Wed Nov 14 10:24:12 2018

*filter

:INPUT ACCEPT [366:324596]

:FORWARD ACCEPT [0:0]

:OUTPUT ACCEPT [362:329065]

COMMIT

# Completed on Wed Nov 14 10:24:12 2018

5、同步时钟

（1）安装ntp服务（master）

[root@master ~]#yum -y install ntp

（2）设置master为主服务器，开启nptd服务(主服务器)

[root@master ~]#vi /etc/ntp.conf

把配置文件中原有的server0-3注释掉，

添加server 127.127.1.0

fudge 127.127.1.0 stratum 10

如图：

https://images2018.cnblogs.com/blog/984534/201804/984534-20180404170000065-287178663.png

[root@master ~]# systemctl start ntpd.service       #启动服务

[root@master ~]# systemctl enable ntpd.service    #开机自启动

（3）安装ntpdate（slaver1节点）

[root@slaver1 ~]# yum -y install ntpdate

[root@slaver1 ~]# ntpdate master

14 Nov 10:30:37 ntpdate[14768]: adjust time server 192.168.11.111 offset 0.000035 sec

6、SSH无密码登陆（主节点）

配置master节点无密码登录到其他节点，在master节点上操作

 

[root@master ~]# ssh-keygen -t rsa（全部回车）

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Created directory '/root/.ssh'.

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

SHA256:NMVPXezqq+MPf95MtP5bzaghnvXSljcC4BH/QFCvm+I root@master

The key's randomart image is:

+---[RSA 2048]----+

|         o+. . o.|

|         o..o . .|

|        o +o . . |

|       . + oo   .|

|        S o.o  ..|

|         . .o..+o|

|         ..o=o.o=|

|        ...+oB*+=|

|         Eo.+**BO|

+----[SHA256]-----+

[root@master ~]# ssh-copy-id slaver1

/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"

The authenticity of host 'slaver1 (192.168.11.112)' can't be established.

ECDSA key fingerprint is SHA256:GG4+viH+NDpVisSLMobnjEYOs171XRVUDoG85EI+mI8.

ECDSA key fingerprint is MD5:f3:bf:63:a6:89:61:c2:08:3c:7d:2a:ed:13:be:d3:ae.

Are you sure you want to continue connecting (yes/no)? yes

/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed

/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys

root@slaver1's password:

Number of key(s) added: 1

 

Now try logging into the machine, with:   "ssh 'slaver1'"

and check to make sure that only the key(s) you wanted were added.

 

 [root@master ~]# ssh-copy-id master

/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"

The authenticity of host 'master (192.168.11.111)' can't be established.

ECDSA key fingerprint is SHA256:cdz8o54DsUQzXr5vZyeSJUbVUYYZe6bGhmUPbiGW+eY.

ECDSA key fingerprint is MD5:0f:f1:23:22:29:07:eb:84:21:c9:5e:f1:31:f5:b0:77.

Are you sure you want to continue connecting (yes/no)? yes

/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed

/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys

root@master's password:

 

Number of key(s) added: 1

 

Now try logging into the machine, with:   "ssh 'master'"

and check to make sure that only the key(s) you wanted were added.

 

测试是否实现了无密码登录

[root@master ~]# ssh slaver1 date;ssh master date;

2018年 04月 23日 星期一 14:18:13 CST

2018年 04月 23日 星期一 14:18:13 CST

将创建的秘钥拷贝出来，因为后面ambari安装的时候需要上传这个秘钥。创建秘钥是在隐藏文件夹/root/.ssh/下面的，所以需要先把秘钥拷贝到可见区域，然后拷贝到电脑上。下面标红的就是秘钥文件

 

[root@master ~]# cd /root/.ssh/

[root@master .ssh]# ls

authorized_keys  id_rsa  id_rsa.pub  known_hosts

[root@master .ssh]# cp id_rsa /root/

[root@master .ssh]# ls /root/

anaconda-ks.cfg   id_rsa  jdk-8u161-linux-x64.rpm

二、下载安装包（利用wget命令）

如果没有wget命令，则执行

[root@master ~]# yum -y install wget

HDP:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz

ambari:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz

HDP-UTILS:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

三、修改yum源，实现离线安装

1、安装httpd服务（主服务器）

[root@master ~]# yum -y install httpd

[root@master ~]# systemctl restart httpd

[root@master ~]# systemctl enable httpd

2、将上面下载的三个包放到/var/www/html目录下（主服务器）

 

[root@master ~]# cd /var/www/html/

[root@master html]# mkdir ambari

拷贝三个包到ambari下面

[root@master html]# cd ambari/

[root@master ambari]# ls

ambari-2.6.0.0-centos7.tar.gz  HDP-2.6.3.0-centos7-rpm.tar.gz  HDP-UTILS-1.1.0.21-centos7.tar.gz

[root@master ambari]# tar -zxvf ambari-2.6.0.0-centos7.tar.gz

[root@master ambari]# tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz

[root@master ambari]# mkdir HDP-UTILS

[root@master ambari]# tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C HDP-UTILS

[root@master ambari]# rm -rf ambari-2.6.0.0-centos7.tar.gz HDP-2.6.3.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.21-centos7.tar.gz

[root@master ambari]# ls

ambari  HDP  HDP-UTILS

 

现在可以通过访问http://192.168.11.111/ambari/查看是否能成功访问

 

3、制作本地源

（1）安装本地源制作相关工具（主服务器）

[root@master ambari]# yum install yum-utils createrepo yum-plugin-priorities -y

[root@master ambari]#  createrepo  ./

（2）修改文件里面的源地址（主服务器）

 

[root@master ambari]# vi ambari/centos7/2.6.0.0-267/ambari.repo

#VERSION_NUMBER=2.6.0.0-267

[ambari-2.6.0.0]

name=ambari Version - ambari-2.6.0.0

baseurl=http://192.168.11.111/ambari/ambari/centos7/2.6.0.0-267

gpgcheck=1

gpgkey=http://192.168.11.111/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

[root@master ambari]# cp ambari/centos7/2.6.0.0-267/ambari.repo /etc/yum.repos.d/

[root@master ambari]# vi HDP/centos7/2.6.3.0-235/hdp.repo

#VERSION_NUMBER=2.6.3.0-235

[HDP-2.6.3.0]

name=HDP Version - HDP-2.6.3.0

baseurl=http:// 192.168.11.111/ambari/HDP/centos7/2.6.3.0-235

gpgcheck=1

gpgkey=http://192.168.11.111/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

 

[HDP-UTILS-1.1.0.21]

name=HDP-UTILS Version - HDP-UTILS-1.1.0.21

baseurl=http://192.168.11.111/ambari/HDP-UTILS

gpgcheck=1

gpgkey=http://192.168.11.111/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

[root@master ambari]# cp HDP/centos7/2.6.3.0-235/hdp.repo /etc/yum.repos.d/

 

上面就创建好了主机上的文件，然后可以通过下面命令清楚一下yum的缓存就可以了

[root@master ambari]# yum clean all

 

[root@master ambari]# yum makecache

[root@master yum.repos.d]# yum makecache

Loaded plugins: fastestmirror, priorities

HDP-2.6.3.0                                                   | 2.9 kB  00:00:00    

HDP-UTILS-1.1.0.21                                            | 2.9 kB  00:00:00    

ambari-2.6.0.0                                                | 2.9 kB  00:00:00    

base                                                          | 3.6 kB  00:00:00    

extras                                                        | 3.4 kB  00:00:00    

updates                                                       | 3.4 kB  00:00:00    

(1/21): HDP-2.6.3.0/filelists_db                              | 418 kB  00:00:00     

(2/21): HDP-2.6.3.0/other_db                                  |  14 kB  00:00:00    

(3/21): HDP-2.6.3.0/primary_db                                | 100 kB  00:00:00    

(4/21): HDP-UTILS-1.1.0.21/filelists_db                       |  95 kB  00:00:00     

(5/21): HDP-UTILS-1.1.0.21/other_db                           |  20 kB  00:00:00    

(6/21): HDP-UTILS-1.1.0.21/primary_db                         |  38 kB  00:00:00    

(7/21): ambari-2.6.0.0/filelists_db                           | 167 kB  00:00:00    

(8/21): ambari-2.6.0.0/primary_db                             | 8.6 kB  00:00:00    

(9/21): ambari-2.6.0.0/other_db                               | 1.3 kB  00:00:00    

(10/21): extras/7/x86_64/filelists_db                         | 604 kB  00:00:09    

(11/21): base/7/x86_64/group_gz                               | 166 kB  00:00:10    

(12/21): extras/7/x86_64/prestodelta                          | 100 kB  00:00:04    

(13/21): base/7/x86_64/primary_db                             | 5.9 MB  00:00:16    

(14/21): extras/7/x86_64/primary_db                           | 204 kB  00:00:06    

(15/21): extras/7/x86_64/other_db                             | 126 kB  00:00:06    

(16/21): base/7/x86_64/other_db                               | 2.5 MB  00:00:20    

(17/21): updates/7/x86_64/other_db                            | 578 kB  00:00:03    

(18/21): updates/7/x86_64/prestodelta                         | 679 kB  00:00:05    

(19/21): updates/7/x86_64/filelists_db                        | 3.4 MB  00:00:08    

(20/21): base/7/x86_64/filelists_db                           | 6.9 MB  00:00:32    

(21/21): updates/7/x86_64/primary_db                          | 6.0 MB  00:00:17    

Determining fastest mirrors

 * base: mirrors.nju.edu.cn

 * extras: centos.ustc.edu.cn

 * updates: mirrors.nju.edu.cn

Metadata Cache Created

[root@master ambari]# yum repolist

 

（3）将创建好的文件拷贝到子节点（主服务器）

 

[root@master ambari]#cd /etc/yum.repos.d

[root@master yum.repos.d]# scp ambari.repo slaver1:/etc/yum.repos.d/

ambari.repo                                                                                        100%  274    16.3KB/s   00:00   

 [root@master yum.repos.d]# scp hdp.repo slaver1:/etc/yum.repos.d/

hdp.repo                                                                                           100%  482     1.1MB/s   00:00  

四、安装ambari-server

经过不断的安装，有两种模式，一种是默认postgresql数据库的安装方式，这种不推荐生产环境使用，还有一种方式是使用第三方数据库的安装方式，下面介绍两种安装模式，根据个人需求选择。建议使用自带的postgresql来配置数据库，这样在后面安装过程中不会出现问题，如果使用其它数据库，请参考其它教程来设置

1、默认安装方式，使用默认数据库PostgreSQL（不推荐生产环境使用）（主服务器）

（1）、安装和配置ambari-server

 

[root@master yum.repos.d]# yum -y install ambari-server

[root@master yum.repos.d]# ambari-server setup

Using python  /usr/bin/python

Setup ambari-server

Checking SELinux...

SELinux status is 'disabled'

Customize user account for ambari-server daemon [y/n] (n)? n

Adjusting ambari-server permissions and ownership...

Checking firewall status...

Checking JDK...

[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8

[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7

[3] Custom JDK

==============================================================================

Enter choice (1): 1

To download the Oracle JDK and the Java Cryptography Extension (JCE) Policy Files you must accept the license terms found at http://www.oracle.com/technetwork/java/javase/terms/license/index.html and not accepting will cancel the Ambari Server setup and you must install the JDK and JCE files manually.

Do you accept the Oracle Binary Code License Agreement [y/n] (y)? y

Downloading JDK from http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-8u112-linux-x64.tar.gz to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz

Completing setup...

Configuring database...

Enter advanced database configuration [y/n] (n)? n

Configuring database...

Default properties detected. Using built-in database.

Configuring ambari database...

Checking PostgreSQL...

Running initdb: This may take up to a minute.

Initializing database ... OK

 

 

About to start PostgreSQL

Configuring local database...

Configuring PostgreSQL...

Restarting PostgreSQL

Creating schema and user...

done.

Creating tables...

done.

Extracting system views...

ambari-admin-2.6.0.0.267.jar

...........

Adjusting ambari-server permissions and ownership...

Ambari Server 'setup' completed successfully.

 

（2）、启动ambari

 [root@master java]# ambari-server start

Using python  /usr/bin/python

Starting ambari-server

Ambari Server running with administrator privileges.

Organizing resource files at /var/lib/ambari-server/resources...

Ambari database consistency check started...

Server PID at: /var/run/ambari-server/ambari-server.pid

Server out at: /var/log/ambari-server/ambari-server.out

Server log at: /var/log/ambari-server/ambari-server.log

Waiting for server start..........................................

Server started listening on 8080

 

DB configs consistency check: no errors and warnings were found.

Ambari Server 'start' completed successfully.

成功启动后在浏览器输入Ambari地址：

http://192.168.11.111:8080

2、以mysql为数据库安装（主服务器）

（1）安装mysql数据库

[root@master ~]# wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

 [root@master ~]# rpm -ivh mysql-community-release-el7-5.noarch.rpm

[root@master ~]# yum -y install mysql-community-server

（2）启动mysql，设置开机启动

[root@master ~]# service mysqld start

[root@master ~]# vi /etc/rc.local

#添加service mysqld start

（3）登录进mysql，初始化设置root密码

[root@master ~]# mysql -uroot

 

设置登录密码

mysql> set password for 'root'@'localhost' = password('bigdata');

*bigdata是我设置的mysql登陆密码

添加远程登录用户

mysql> grant all privileges on *.* to 'root'@'%' identified by 'bigdata';

（4）登录mysql，执行下面的语句

[root@master ~]# mysql -uroot -pbigdata

Warning: Using a password on the command line interface can be insecure.

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 21

Server version: 5.6.42 MySQL Community Server (GPL)

 

Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.

 

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

 

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

 

mysql>CREATE DATABASE ambari; 

mysql>use ambari; 

mysql>CREATE USER 'ambari'@'%' IDENTIFIED BY 'bigdata'; 

mysql>GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%'; 

mysql>CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'bigdata'; 

mysql>GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost'; 

mysql>CREATE USER 'ambari'@'master' IDENTIFIED BY  'bigdata'; 

mysql>GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'master'; 

mysql>FLUSH PRIVILEGES; 

mysql>source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; 

mysql>show tables; 

mysql>use mysql; 

mysql>select Host User Password from user where user='ambari'; 

mysql>CREATE DATABASE hive; 

mysql>use hive; 

mysql>CREATE USER 'hive'@'%' IDENTIFIED BY 'hive'; 

mysql>GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%'; 

mysql>CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive'; 

mysql>GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost'; 

mysql>CREATE USER 'hive'@'master' IDENTIFIED BY 'hive'; 

mysql>GRANT ALL PRIVILEGES ON *.* TO 'hive'@'master'; 

mysql>FLUSH PRIVILEGES; 

mysql>CREATE DATABASE oozie; 

mysql>use oozie; 

mysql>CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie'; 

mysql>GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%'; 

mysql>CREATE USER 'oozie'@'localhost' IDENTIFIED BY 'oozie'; 

mysql>GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'localhost'; 

mysql>CREATE USER 'oozie'@'master' IDENTIFIED BY 'oozie'; 

mysql>GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'master'; 

mysql>FLUSH PRIVILEGES;

（5）建立mysql与ambari-server的连接

 

网上下载mysql-connector-java-5.1.40.jar放到root文件下

 

mkdir /usr/share/java

cp /root/mysql-connector-java-5.1.40.jar /usr/share/java/mysql-connector-java.jar

cp /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar

vi /etc/ambari-server/conf/ambari.properties

添加server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar

（6）初始化设置ambari-server并启动

[root@master ~]# ambari-server setup

下面是配置执行流程，按照提示操作

（1） 提示是否自定义设置。输入：y

Customize user account for ambari-server daemon [y/n] (n)? y

（2）ambari-server 账号。

Enter user account for ambari-server daemon (root):

如果直接回车就是默认选择root用户

如果输入已经创建的用户就会显示：

Enter user account for ambari-server daemon (root):ambari

Adjusting ambari-server permissions and ownership...

（3）检查防火墙是否关闭

Adjusting ambari-server permissions and ownership...

Checking firewall...

WARNING: iptables is running. Confirm the necessary Ambari ports are accessible. Refer to the Ambari documentation for more details on ports.

OK to continue [y/n] (y)?

直接回车

（4）设置JDK。输入：1

Checking JDK...

Do you want to change Oracle JDK [y/n] (n)? y

[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8

[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7

[3] Custom JDK

==============================================================================

Enter choice (1): 1

To download the Oracle JDK and the Java Cryptography Extension (JCE) Policy Files you must accept the license terms found at http://www.oracle.com/technetwork/java/javase/terms/license/index.html and not accepting will cancel the Ambari Server setup and you must install the JDK and JCE files manually.

Do you accept the Oracle Binary Code License Agreement [y/n] (y)? y

Downloading JDK from http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-8u112-linux-x64.tar.gz to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gzCompleting setup...

（5）数据库配置。选择：y

Configuring database...

Enter advanced database configuration [y/n] (n)? y

（6）选择数据库类型。输入：3

Configuring database...

==============================================================================

Choose one of the following options:

[1] - PostgreSQL (Embedded)

[2] - Oracle

[3] - MySQL

[4] - PostgreSQL

[5] - Microsoft SQL Server (Tech Preview)

[6] - SQL Anywhere

==============================================================================

Enter choice (3): 3

（7）设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。如果想重命名，就输入。

Hostname (localhost):

Port (3306):

Database name (ambari):

Username (ambari):

Enter Database Password (bigdata):bigdata

Re-Enter password: bigdata

（8）将Ambari数据库脚本导入到数据库

WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

Proceed with configuring remote database connection properties [y/n] (y)? 

[root@master ~]# ambari-server start

3、错误处理

　　如果出现错误，请注意查看日志，根据具体的错误内容进行处理，默认ambari-server的日志在/var/log/ambari-server/ambari-server.log里面。如果在处理日志的过程中或者后面安装的过程中出现一些莫名的错误，可以重置的安装。如果上面进行的默认数据库的配置，可以使用下面的代码重置ambari-server

 

[root@master ~]# ambari-server stop

[root@master ~]# ambari-server reset

[root@master ~]# ambari-server setup

　　如果选择的是第二种方式，就需要先执行上面的语句，然后手动将mysql里面创建的数据库进行删除。然后再重新执行第二步的操作

 

复制代码

[root@master ~]# mysql -uroot -p

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| ambari             |

| hive               |

| oozie              |

| performance_schema |

+--------------------+

5 rows in set (0.00 sec)

mysql> drop database ambari;

mysql> drop database hive;

mysql> drop database oozie;

复制代码

　　如果在安装的过程中出现了错误，又想重新安装，可以在ambari-server开启的情况下，执行下面的语句来移除已安装的包，然后再通过不同的情况选择上面两种方式的一种对ambari-server进行重置

 

python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py –silent

五、安装配置部署HDP集群

1、登录

登录界面，默认管理员账户登录， 账户：admin 密码：admin

2、安装向导

3.集群的名字为hadoohttps://images2018.cnblogs.com/blog/984534/201804/984534-20180423153908789-641250027.png

4.选择版本并改为本地源地址

https://images2018.cnblogs.com/blog/984534/201804/984534-20180423154205455-607340148.png

http://master/ambari/HDP/centos7/2.6.3.0-235/

http://master/ambari/HDP-UTILS/

5.安装配置

 

选择要安装的服务器和上传上面教程所拷贝出来的秘钥文件id_rsa

https://images2018.cnblogs.com/blog/984534/201804/984534-20180423154534341-2016221966.png

6.安装ambari的agent，同时检查系统问题(所有机器)

[root@master ~]# yum -y install ambari-agent

[root@master ~]# ambari-agent start

7.选择服务

8.为各组件分配磁盘容量

9. 分配服务和客户

10. 给各组件配置（出现红色提示需要进行配置）

11. 搭建完成

啊啊啊琦
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
初学大数据，手动搭建Hadoop集群环境完整学习文档
11-09
初学大数据，如何手动搭建一套集群是很有必要的一件事，因为使用CDH等一键搭建后，不知内部的原理，无法真正的理解其大数据集群的搭建原理，此文档刚好给大家把手动搭建集群的步骤列举出来了
关于ssh免密登陆脚本实现的一些想法
zsk_john的技术分享专用博客
04-16 1014
关于ssh免密登陆脚本实现的一些想法 通常ssh免密应用在集群机器的管理方面，免密的目的是为了运维的方便，但不是说就没有安全可言。虽然，免密的时候执行ssh-keygen 的时候，没有并且也不应该输入密码，但通过密钥分发的操作后，只有具有密钥公钥的机器才可以免密登陆，也就是说这一把钥匙还是在你自己的手中，因此，安全性还是无需担心的。 那么，我们可以仔细的观察一下公钥的生成过程，来看一看到底有什么奥秘在其...
ssh免密钥登录的坑
chen5131421的专栏
04-15 8591
有工程通过页面上不小心把/home/admin下面所有目前都改成777后，导致.ssh改成700也不管用，~/.ssh/authorized_keys就算改成了600都不管用的场景。SSH的免密钥登录永远都不能成功。 Connection to hsslave3 closed. [admin@hsmaster .ssh]$ ssh-copy-id hsslave4 /bin/ssh-copy-i...
2022云计算国赛真题: ansible部署galera高可用数据库集群
m0_54900076的博客
08-26 2020
2022云计算国赛题目,相关镜像,软件包,参考文档需要的私聊
ansible环境准备
无咎的博客
07-08 214
准备环境如下： 序号 IP 角色 操作系统 1 172.26.94.193 master centos 7.6 2 172.26.94.192 node1 centos 7.6 3 172.26.94.194 node2 centos 7.6 修改各节点hosts文件： vim /etc/hosts 172.26.94.193 master 172.26.94.194 node1 172.26.94.1
Linux——SSH远程管理
DLZ的博客
11-05 666
SSH远程管理一.SSH协议二.sshd远程登录1.查看sshd服务2.了解SSHD服务端配置文件3.使用客户端去远程登录服务端的ROOT用户4.把服务端的远程登录ROOT用户关掉5.去服务端验证是否能登录ROOT用户6.客户端切换到普通用户lisi,再切到ROOT用户也行（不安全）7.把服务端开启PAM认证8.再去客户端去验证一下9.在客户端尝试输错三次密码，发现就退出来了，我们原本服务端设置的是验证次数是6次10.在客户端切到ROOT用户，设置验证次数为8次11.设置SSH远程登录的黑白名单12.了解三
手动搭建hadoop高可用
03-09
手动搭建hadoop集群（包括hadoop的Ha好可用），零基础教程
hadoop-2.9.2的64位版本(手动编译)
06-09
Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要64位的版本。
CDH 5.5.0 - 安装文档(Hadoop详细版)
07-26
CDH 提供了自动在线安装，手动离线安装的方式，本文介绍的安装方式为完全离线 安装。是同时适用于测试环境、生产环境的安装方式，对应官方安装文档章节为: Installation Path C - Manual Installation Using ...
hadoop-2.10.1.tar.gz(手动编译后的版本)
10-20
Hadoop 2.10.1 ，手动编译后的版本。集群模式下可正常运行。配套资料参考：https://blog.csdn.net/lzb348110175/category_7818038.html
密钥SSH免密登录（详解）
秦延金
04-28 2477
前言 RSA公钥加密算法 在进入正题之前，我们先了解一下"RSA公钥加密算法"的历史 ​ RSA公钥加密算法作为目前地球上最重要的加密算法，已经完全渗透到了互联网的每一个角落，在1976年以前所有的加密方法都是同一个模式(对称加密)： 1. A方选择某一种加密规则(算法),对信息加密 2. B方使用同一种规则,对信息进行解密 ​ 由于加密和解密使用同样的规则（简称：密钥），这被称为"对称加密算法（Symmetric-key algorithm）。" ​ 这种加密模式有一个最大问题：甲方必须把加密规则告
day41-SSH补充及ansible
weixin_44695383的博客
05-28 167
ansible.png SSH补充 免交互式创建秘钥 创建秘钥对 [root@m01 ~]# ssh-keygen -t dsa Generating public/private dsa key pair. Enter file in which to save the key (/root/.ssh/id_dsa): ##输入保存密钥的文件 我们创建秘钥对...
重庆思庄oracle技术分享-ssh无法免密登录
duanweifang的博客
04-02 894
系统：CentOS 7.9 ssh互信做完后发现仍然无法ssh免密登录，提示如下： [oracle@hisdb1:/home/oracle]$ ssh hisdb1 date Enter passphrase for key ‘/home/oracle/.ssh/id_rsa’: 解决方案： [root@hisdb1 .ssh]# vi /etc/ssh/sshd_config 确认以下参数被注释： #PubkeyAuthentication yes #AuthorizedKeysFile .ssh/aut
Linux系统生成免密码登录，保姆级教程
最新发布
11-07 1766
同理，在node2，node3，也可以配置免密登录node1，node2，node3.这里按照上面的步骤，在相应的node节点重新拷贝ssh-copy-id -i id_rsa.pub root@节点，就可以了。2、这里指的node1，node2，node3，是需要在host里面配置的，每台服务器都需要配置相应的。这里就配置成了，node1可以免密登录node1，node2，node3。在node1节点执行ssh node1，node2，ssh node3。一般不需要修改什么，就可以直接下一步，下一步了。
ssh 免密码登陆设置不成功
weixin_30724853的博客
01-07 274
记一次centos6设置免密码登陆设置不成功的解决。自己挖的坑自己填。 ssh 免密码登陆设置( 正常情况下是这样的，设置成功后登陆主机是不需要密码的) [root@master .ssh]# ssh-keygen -t rsa # 执行上面的命令直接敲3-4次回车。 Generating public/private rsa key pair. Enter file in which to s...
linux系统免密登录
weixin_50066847的博客
10-30 186
第一步：执行 ssh-keygen -t rsa 然后一路回车就行 [root@node1 ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'. Enter passphrase (empty for no passphrase): Enter same
CentOS 7.9 系统搭建 Hadoop 集群
花落花开的博客
03-18 4340
安装环境 虚拟软件：VMware® Workstation 16 Pro 虚拟机操作系统：CentOS 7.9-Minimal 虚拟机 IP：192.168.153.11、192.168.153.12、192.168.153.13 前期规划 Hadoop 集群包含两个集群：HDFS 集群、YARN 集群，两个集群在逻辑上分离，但通常会共用主机。 两个集群都是标准的主从架构集群。 HDFS 集群包含的角色（守护进程）： 主角色：NameNode 从角色：DataNode 主角色辅助角色：SecondaryN
CDH 6.3.2 高可用安装步骤
爱摄影的小章同学的博客
07-20 1325
CDH 6.3.2 高可用安装步骤
linux 免密钥出现错误,linux免密钥登录
weixin_29208077的博客
05-13 2490
linux免密钥登录原理1.本机生成密钥和公钥2.把公钥传递给远程主机3.主机把公钥追加进免检名单---------------------上面为第一次配置的时候-----------------------配置完毕以后只用下面的步骤-------------------------4.本机请求远程主机5.远程主机去免检名单里找到所属公钥6.生成用公钥加密后的字符串传回本机7.本机使用私钥进行解密...
windowshadoop安装教程
07-29
Windows上安装Hadoop通常需要以下步骤： 1. 下载Hadoop：首先，从Apache Hadoop的官方网站上下载最新稳定版本的Hadoop。 2. 安装Java：Hadoop是用Java编写的，所以首先需要安装Java开发工具包（JDK）并确保其在系统中正确配置。 3. 解压Hadoop文件：将下载的Hadoop文件解压到你想要安装的目录中。例如，可以将其解压到C:\hadoop目录下。 4. 配置环境变量：在Windows操作系统上，需要手动设置一些环境变量。将Hadoop的bin目录路径添加到系统的PATH环境变量中。 5. 配置Hadoop：在Hadoop的安装目录下，打开“etc/hadoop”文件夹，并编辑一些配置文件。其中包括core-site.xml、hdfs-site.xml和mapred-site.xml。根据需要修改这些文件的内容，设置适合你的环境和需求的配置参数。 6. 创建Hadoop数据目录：Hadoop需要一个目录来存储数据和临时文件。创建一个目录并在配置文件中指定该目录的路径。 7. 启动Hadoop：使用命令行进入Hadoop的安装目录，并执行启动Hadoop的命令。通常使用以下命令来启动Hadoop：sbin/start-all.cmd。 8. 验证Hadoop安装：当Hadoop成功启动后，可以在浏览器中访问http://localhost:50070/来查看Hadoop的管理页面。在这个页面上可以看到Hadoop集群的详细信息。 这些是在Windows上安装Hadoop的一般步骤。具体的安装过程可能会因个人的配置和需求而有所不同。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值