hadoop3.1.3 + hive3.1.2 + mysql5.7.24 + zeppelin0.8.0环境搭建

---

PRE：

首先要有JDK环境，java1.8，配置环境变量。linux系统一般有自带openjdk，yum list检查一下版本

Hadoop部署

1. hadoop伪分布式部署参考https://blog.csdn.net/mathew_leung/article/details/102531444
2. 启动hadoop，需要配置环境变量

export HDFS_DATANODE_USER=root 
export HADOOP_SECURE_DN_USER=root
export HDFS_NAMENODE_USER=root 
export HDFS_SECONDARYNAMENODE_USER=root 
export YARN_RESOURCEMANAGER_USER=root 
export HADOOP_SECURE_DN_USER=root
export YARN_NODEMANAGER_USER=root

3. 本地配置sshkey，免密登陆方式
4. 执行 hadoop/sbin/start-all.sh 启动服务，jps检查进程是否全，在http://ip:9870/可见hadoop管理页面

Hive部署

1. mysql和hive部署参考https://blog.csdn.net/qq_25542879/article/details/89681681
2. 首先部署mysql，创建hive数据库
3. 安装部署hive，启动的时候和hadoop的guava版本要一致，报错的话就统一修改成较高的版本。
4. 初始化hive： schematool -dbType mysql -initSchema
5. 测试beeline登陆是否成功

[root@node1 ~]# beeline 
Beeline version 2.1.1 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000/default;     #连接default库

如果报User root is not allowed to impersonate anonymous则修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

zeppelin部署和配置hive interpreter

1. zeppelin部署比较简单
   配置hive参考https://blog.csdn.net/happyfreeangel/article/details/84633331
2. 配置Interpreter的地方需要注意
   default.user 和default.password hive的密码默认是None，如果不修改的话，用户设成hadoop的启动用户，密码为空。
3. Interpreter的依赖要注意，下载jar包放在zeppelin/lib/interpreter文件夹下面，如果有报错，加上额外的包

hive-jdbc-3.1.1.jar
hive-common-3.1.1.jar
hive-serde-3.1.1.jar
hive-service-rpc-3.1.1.jar
hadoop-common-3.1.1.jar
hive-service-3.1.1.jar
curator-client-4.0.1.jar
guava-27.0-jre.jar
protobuf-java-3.6.1.jar

hive创建表导入数据

创建表和导入数据参考https://blog.csdn.net/qq_41028958/article/details/80853089