一.准备
-
安装Hadoop:
- 如果是在Linux系统上安装,可以选择ubuntu作为基础操作系统。
- 如果是在Windows系统上安装,建议再安装一个Ubuntu,组成双系统,以便发挥各自系统的特点。
- 使用U盘制作一个系统启动盘,用于安装新系统。
- 在新系统上,选择分区并安装Ubuntu。
- 安装过程中,可以选择不更新系统,并更改镜像地址为国内的镜像地址,例如(http://mirror.aliyun.com/ubuntu/)。
-
配置环境:
- 安装必要的软件,如SSH和Vim。
- 添加映射,允许防火墙对22端口的访问。
- 配置JDK环境变量,并确保JDK已经安装。
- 配置Hadoop环境变量,并确保Hadoop已经安装。
-
配置Hadoop:
- 配置Hadoop守护进程的运行环境,设置JAVA_HOME。
- 通过配置选项HADOOP_*_OPTS来分别配置各个守护进程。
- 配置Hadoop的配置文件,如core-site.xml和hdfs-site.xml。
- 启动Hadoop,通过执行`/sbin/start-dfs.sh`来启动Hadoop。
-
测试Hadoop:
使用Hadoop的jar包进行测试,例如运行`hadoop jar hadoop-mapreduce-examples-2.7.jar wordcount`命令。
二.环境配置
- 准备环境。确保已经安装了Hadoop,并且配置了HDFS和YARN。
- 上传Hive安装包。将Hive安装包(如`apache-hive-3.1.2-bin.tar.gz`)上传到Linux服务器上。
- 解压Hive安装包。使用tar命令解压Hive安装包到指定目录,例如`/export/servers/`。
- 修改Hive安装目录名。将解压后的目录名修改为`hive`。
- 配置环境变量。在`/etc/profile`文件中添加环境变量,例如:`export HIVE_HOME=/export/servers/hive`,并保存退出。
- 初始化元数据库。使用'schematoo'工具初始化元数据库,例如:`bin/schematool -dbType derby -initSchema`。
- 配置Hive元数据存储到MYSQL。在`$HIVE_HOME/conf`目录下创建`hive-site.xml`文件,并配置元数据存储到MySQL。
- 启动Hive服务。启动Hive服务,例如:`bin/start-hive.sh`。
- 测试Hive服务。使用Hive客户端连接到Hive服务,例如:`hive -e "show databases"`