hdp安装 不安装mysql_Hortonworks HDP安装过程的一些问题

最后还是决定安装Hortonworks 2.6.4.0,使用ambari自动安装模式

具体参考

具体流程

0.检查和准备

就是一些常规内容,按照文档做就可以了

注意主机点和其他机器的免密登陆

还有每台机器时间同步

如果用主机名,注意每台机器的hostname--check hostname

hostname -f

--防火墙和SELinux

systemctl disable firewalld

service firewalld stop

Disable SELinux

cat /etc/selinux/config

SELINUX=disabled

1.安装ambari-serverwget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

yum install ambari-server

ambari-server setup

su ambari

ambari-server start

ambari-server status

ambari-server stop

2.配置

记录一些注意事项,配置hive的时候会提示要配置mysql的jdbc server,不配置也能结束,但是不能启动,还是要配置.ambari-server setup --jdbc-db=mysql --jdbc-driver=/yourpath/jars/mysql-connector-java.jar

由于其他节点也需要在线安装,yum源有问题也会失败.

3.检查 spark脚本

在安装spark client的节点cd /usr/hdp/current/spark2-client

./bin/spark-submit --master yarn-client --num-executors 1 --driver-memory 512m --executor-memory 512m --executor-cores 1  examples/src/main/python/pi.py   100

4.其他一些问题

配置过程中需要记录的用户密码很多,需要的数据库太多了,ambari需要postgres

hive使用的

mysql

ldap

Oozie Server 使用Derby Database

Grafana Admin

由于使用python3在spark运行,接下来还需要安装python3,还要总结下.