Hortonworks 安装

最新推荐文章于 2022-07-18 14:42:58 发布

nanoleak coding

最新推荐文章于 2022-07-18 14:42:58 发布

阅读量1.9k

点赞数

分类专栏： hadoop yarn

本文链接：https://blog.csdn.net/ruiyiin/article/details/80813775

版权

hadoop yarn 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1 前言

1.1 读者对象

本文档提供大数据平台的详细部署说明，本文的预期读者应拥有以下技能：

l 熟练使用linux常用命令，懂shell脚本。

l 使用SSH工具连接到Linux环境上进行应用程序的部署

l 对网络知识有一定的了解

1.2 安装步骤

本文档包括以下几个步骤：

l 安装前的准备工作，包括软硬件环境检测；

l 基础软件的安装；

l 基础软件的配置；

l 建立数据库对象，包括表、存储过程；

l 初始化环境，包括配置表数据，事实表数据；

l 部署平台

2 技术架构

2.1 前端

2.2 数据库

数据库部署，后续补充。。。

3 硬件环境

配置项	名称	备注
CPU	Intel Core 2 Duo 2.0 GHz or AMD 64 X2 2 GHz	推荐使用64位CPU
内存	至少2GB DRR2 667及以上	推荐8GB内存
显卡	最少16MB显存
硬盘	最低160GB
网卡	100M/1000M自适应

4 网络环境

4.1 局域网

3台服务器

192.168.130.132 hdp-hadoop1

192.168.130.133 hdp-hadoop2

192.168.130.134 hdp-hadoop3

4.2 宽带要求

4.3 域名规划

3台服务器分别编辑hostname为对应域名

vi /etc/sysconfig/network

HOSTNAME=hdp-hadoop1

vi /etc/sysconfig/network

HOSTNAME=hdp-hadoop2

vi /etc/sysconfig/network

HOSTNAME=hdp-hadoop3

3台服务器配置hosts文件如下：

vi /etc/hosts

192.168.130.132 hdp-hadoop1

192.168.130.133 hdp-hadoop2

192.168.130.134 hdp-hadoop3

5 服务器选型与配置

5.1 运行支撑环境

5.2 服务器硬件

5.3 磁盘存储系统

5.4 数据备份

5.5 数据库

5.6 应用服务器

6 基础软件安装

6.1 Linux安装

略

6.2 Apache Httpd安装

在hdp-hadoop1上安装http服务器构建本地rpm仓库

yum install httpd //安装静态资源服务器

1、y

2、Y

3、

service httpd status

service httpd start

chkconfig httpd on

验证：

浏览器：http://192.168.130.132

6.3 MySql安装

yum install mysql-server

1、y

2、

6.3.1 mysql启动

service mysqld start

chkconfig mysqld on

mysqladmin -uroot password '123456'

让mysql能够远程访问

mysql -uroot -p123456

//授权所有机器访问

mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

创建数据库:

create database ambari;

GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;

//如果其他节点访问本MYSQL，需要配hostname单独配Hostname，

//ambari的server节点

GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'hdp-hadoop1' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;

//hive 节点

create database hive;

GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'hdp-hadoop1' IDENTIFIED BY 'hive' WITH GRANT OPTION;

//oozie节点

create database oozie;

GRANT ALL PRIVILEGES ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON oozie.* TO 'oozie'@'hdp-hadoop1' IDENTIFIED BY 'oozie' WITH GRANT OPTION;

exit

Ambari安装&节点安装

Hdp-hadoop1上

本地软件仓库配置和软件压缩包下载地址

http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/obtaining_the_repositories.html

Ambari源

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos6.tar.gz

HDP 平台源

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos6-rpm.tar.gz

HDP依赖源

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz

下载后，解压:

// apache默认目录 /var/www/html/

tar zxvf ambari-2.4.2.0-centos6.tar.gz -C /var/www/html/

tar zxvf HDP-UTILS-1.1.0.21-centos6.tar.gz -C /var/www/html/

tar zxvf HDP-2.5.3.0-centos6-rpm.tar.gz -C /var/www/html/

解压后目录更改目录名（方便后续软件仓库）如下：

创建源

cd /etc/yum.repos.d

vi ambari.repo

[AMBARI2.4.2.0-136]

name=Ambari 2.x

baseurl=http://hdp-hadoop1/ambari/centos6/2.4.2.0-136/

gpgcheck=1

gpgkey=http://s3.amazonaws.com/dev.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

3台服务器上同步时间

修改系统时间

ntpdate asia.pool.ntp.org

service ntpd start

chkconfig ntpd on

验证：

date

Hdp-hadoop1上

安装ambari-server
yum install openssl

yum install ambari-server

配置anbari-server

下载mysql驱动

yum install mysql-connector-java*

//下载驱，以后测试，运行需要

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

导入数据结构

mysql -uroot –p123456

use ambari;

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

exit

ambari-server setup

6.3.2 启动Ambari

service ambari-server start

chkconfig ambari-server on

//查看日志cat /var/log/ambari-server/ambari-server.log

或tail -1000f /var/log/ambari-server/ambari-server.log

6.3.3 FQA:

1、数据库联不到，要去上面查脚本，看是连的主机名还是localhost

2、步骤：

数据库选择

//数据库拒绝访问，给相应权限

GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'cluster-155' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;

6.4 ambari-agent安装

集群其它节点配置，

修改系统时间

ntpdate asia.pool.ntp.org

验证：

1、创建源

cd /etc/yum.repos.d

vi ambari.repo

[AMBARI2.4.2.0-136]

name=Ambari 2.x

baseurl=http://hdp-hadoop1/ambari/centos6/2.4.2.0-136/

gpgcheck=1

gpgkey=http://s3.amazonaws.com/dev.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

2、配置

安装一下必要的依赖

yum install openssl

yum install ambari-agent

查看安装在那个地方

rpm –ql ambari-agent

vi /etc/ambari-agent/conf/ambari-agent.ini

修改 hostname=hdp-hadoop1

6.4.1 启动 ambair-agent

service ambari-agent start

chkconfig ambari-agent on

tail -1000f /var/log/ambari-agent/ambari-agent.log

检查是否安装成功，1，看日志，2，连接

6.5 HDC界面配置

6.5.1 配置手册

6.5.1.1 第一步：

打开 http://192.168.130.132:8080/

用户名/密码 admin/admin

1、集群名

2、选择版本

3、

4、节点添加

5、自动检查也节点的连接情况，如接不上，需排错，排错方式要看下面FAQ

6、根据项目需要，选择用到那些子项目，我这全选

7、

安装中。。。。。。。。。。。。。

其它，按照提示的操作，部署。

6.6 FAQ:

安装过程中可能会碰到的问题：

1、这一部无法通过

原因：各节点没有配好hostname、还有各节点配置vi /etc/hosts是否正确

访问节点

1、cat /etc/hosts

vi /etc/hosts

2、修改主机名

vi /etc/sysconfig/network

查看方法：

1、找到数据库表hosts，核对数据（此表为节点数据），修改好后要重启动服务

服务：service ambari-server restart

节点：service ambari-agent restart

2、多看日志

a) 服务器日志：tail -1000f /var/log/ambari-server/ambari-server.log

b) 节点日志：tail -1000f /var/log/ambari-agent/ambari-agent.log

3、服务启动，记得每节点要时间同步用下面命令

ntpdate asia.pool.ntp.org

6.7 Hue安装

yum install hue

vi /etc/hue/conf/hue.ini

service hue restart

或service hue start

tail -1000f /var/log/hue/runcpserver.out

netstat -anp|grep 8000

详细配置项参见

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.7/bk_installing_manually_book/content/rpm-chap-hue-2.html

Hive配置

vi /etc/hue/conf/hue.ini

重启HUE

6.8 FAQ:

1、

重启ambari

重庆访问

6.9 BI

6.9.1 BI下载

http://community.pentaho.com

6.9.2 安装

一、解压

unzip biserver-ce-5.3.0.0-213.zip

二Mysql数据库配置步骤

GRANT ALL PRIVILEGES ON *.* TO 'root'@'cluster1' IDENTIFIED BY '123456' WITH GRANT OPTION;

1）biserver-ce-4.8.0-stable/biserver-ce/tomcat/webapps/pentaho/META-INF/context.xml

vi biserver-ce/tomcat/webapps/pentaho/META-INF/context.xml

<?xml version="1.0" encoding="UTF-8"?>

<Resource name="jdbc/Hibernate" auth="Container" type="javax.sql.DataSource"

factory="org.apache.commons.dbcp.BasicDataSourceFactory" maxActive="20" maxIdle="5"

maxWait="10000" username="root" password="123456"

driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://cluster-180:3306/hibernate"

validationQuery="select 1" />

<Resource name="jdbc/Quartz" auth="Container" type="javax.sql.DataSource"

factory="org.apache.commons.dbcp.BasicDataSourceFactory" maxActive="20" maxIdle="5"

maxWait="10000" username="root" password="123456"

driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://cluster-180:3306/quartz"

validationQuery="select 1"/>

</Context>

2、

自定义数据库执行脚本biserver-ce-4.8.0-stable/biserver-ce/data/mysql5/ 下的sql

mysql –uroot –p123456

source /usr/local/biserver-ce/data/mysql5/create_quartz_mysql.sql

exit

) biserver-ce-4.8.0-stable/biserver-ce/tomcat/conf/Catalina/localhost/pentaho.xml

3) 修改 biserver-ce-4.8.0-stable/biserver-ce/pentaho-solutions/system/hibernate下的

hibernate-settings.xml ：修改mysql配置文件名

mysql5.hibernate.cfg.xml：增加连接池

5) 修改biserver-ce-4.8.0-stable/biserver-ce/pentaho-solutions/system/ 下的

applicationContext-spring-security-hibernate.properties

vi applicationContext-spring-security-jdbc.properties

vi applicationContext-spring-security-jdbc.xml

不修改

6.9.3 启动

cd /usr/local/biserver-ce

./start-pentaho.sh

/usr/local/biserver-ce/tomcat/logs

tail -1000f catalina.out

ps -ef|grep biserver-ce

安装插件

2.6版本是免费的

注：如若不提供下载请按下面步骤操作

saiku-plugin-p5-2.6.zip（百度网盘和本机D:\bigdate install package下有安装包）

1、解压

unzip saiku-plugin-p5-2.6.zip

2、移动到以下目录

mv saiku biserver-ce/pentaho-solutions/system/

3、关闭重启

./stop-pentaho.sh 或 ps -ef |grep biserver-ce kill -9 进程号

4、vi plugin.properties

cd /usr/local/biserver-ce/pentaho-solutions/system/kettle/plugins/pentaho-big-data-plugin

修改plugin.properties 里面

改后：active.hadoop.configuration=hdp21

5、vi settings.xml

cd /usr/local/biserver-ce/pentaho-solutions/system/kettle

改后：

6、windows下kattle工具配置

D:\bigdateinstallpackage\pdi-ce-5.3.0.0-213\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp21

里面文件要与linux 大数据环境要一致

配好后的文件目录如下：

以上文件是从linux拷贝到windows下面的

Linux目录分别如下：

/etc/hadoop/conf.empty

/etc/hive

/etc/hbase/conf

7、

Windowd下Kettle默认保存目录

C:\Users\Administrator\.kettle

Linux 下如图所示

Linux下下Kettle默认保存目录

cd /root/.kettle

修改下面目录

修改后如下所示

8、拷贝kettle项目文件到（业务资源库）

/usr/local/donson/tt/hh/

查看是否有此文件

9、停止、重启biserver

6.9.4 关于kettle封装上传

pds-design-studio

6.10 FAQ:

连接mysql

mysql -uroot -p123456 -hcluster-180

6.11 kattle

6.11.1 大数据插件使用

修改

data-integration/plugins/pentaho-big-data-plugin/plugin.properties

改成hdp21

然后：

7 业务系统部署

7.1 统一认证应用

7.2 运营平台

8 建立数据库

8.1 对象脚本说明

8.2 执行对象脚本

9 初始化环境

9.1 初始化脚本说明

9.2 执行对象脚本

nanoleak coding

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
Hortonworks 安装

1 前言1.1 读者对象本文档提供大数据平台的详细部署说明，本文的预期读者应拥有以下技能：l 熟练使用linux常用命令，懂shell脚本。l 使用SSH工具连接到Linux环境上进行应用程序的部署l 对网络知识有一定的了解1.2 安装步骤本文档包括以下几个步骤：l 安装前的准备工作，包括软硬件环境检测；l 基础软件的安装；l 基础软件的配置；l 建立数据库对象，包括表、存储过程；l 初始化环境，...
复制链接

扫一扫