412421421

本地 hive 的安装 准备软件： 1. 在装 hive 之前，你一定要确保你是否安装 伪分布式（附录 1） 或者全分布式（附录 2） 2. 准备好 hive 安装包 apache-hive-1.2.2-bin.tar.gz 3．打开 xftp4 连接好（用 IP 地址连接） 进入 /opt 文件目录中将 hive 安装包上传到/opt 目录中 输入查看 hive 压缩包在不在/opt 目录下的命令：cd /opt ll（是小写字 母） 输入解压命令将 hive 解压到/usr/local/ 目录下： tar -zxf /opt/apache-hive-1.2.2-bin.tar.gz -C /usr/local/ 输入命令： cd /usr/local/ mv apache-hive-1.2.2-bin hive-1.2.2 查看文件，发现文件名过长，更改文件名将 apache-hive-1.2.2-bin 改为 hive-1.2.2 配置环境变量输入命令： vi /etc/profile 在末尾加上： export HIVE_HOME=/usr/local/hive-1.2.2/ 在 export PAHT 后加上 :$HIVE_HOME/bin 输入命令重新加载文件： source /etc/profile 启动 hdfs+yarn 的命令： $HADOOP_HOME/sbin/start-all.sh 输入启动命令： bin/hive 如果出现报错 jline 时，hive 启动时要依赖 yarn，yarn 里面有一个叫 jline 的 jar 包版 本太低所以需要更改版本。 输入进入依赖文件夹的命令： cd $HIVE_HOME/lib/ cp jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib cd $HADOOP_HOME/share/hadoop/yarn/lib 删除老版本的命令： rm jline-0.9.94.jar（如果询问是否删除文件时 输入 yes） 输入启动 hive 命令: cd /usr/local/hive-1.2.2 bin/hive 附录 1《伪分布式/集群搭建》安装教程 1. 配置网络 输入命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 进入下面的窗口,按 i 键进行编辑，将 ONBOOT=no 改为 ONBOOT=yes ；编辑完成 后按 Esc 键，在英文状态下输入 :wq 回车 便退出 vi 模式。 输入重新启动一下网卡命令：service network restart 2．输入查看 IP 地址命令：ip addr 打开 xshell 进行连接 打开 xftp,进入 /opt 目录下，将 jdk 和 hadoop 压缩包上传上去 3．输入查看上传的文件命令：cd /opt 然后输入 ll 输入安装 java 命令：rpm -ivh /opt/jdk-7u67-linux-x64.rpm 将 hadoop 文件进行解压存到 /usr/local/ 目录下 输入命令： tar -zxf /opt/hadoop-2.6.5.tar.gz -C /usr/local/ 4．输入命令：vi /etc/profile 修改环境变量，让系统知道你装了这个；在文末尾进行添加 按 i 键进行编辑，编辑完成 后按 Esc 键输入 :wq 回车 export HADOOP_HOME=/usr/local/hadoop-2.6.5/ export JAVA_HOME=/usr/java/jdk1.7.0_67 export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin; export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib 输入命令：source /etc/profile 重新加载配置文件 输入命令：cd $HADOOP_HOME cd $JAVA_HOME 测试是否能够跳转，测试是否配置成功 5．修改 hadoop 运行环境 输入命令：cd $HADOOP_HOME/etc/hadoop vi hadoop-env.sh 找到 export JAVA_HOME=${JAVA_HOME} 改成 export JAVA_HOME=/usr/java/jdk1.7.0_67 6.输入进入 hadoop 目录的命令：cd /usr/local/hadoop-2.6.5/ 或者 cd $HADOOP_HOME 输入命令： vi etc/hadoop/core-site.xml 在 中添加命令，按 i 键进行编辑，编辑完成后按 Esc 键 输入 :wq 回车 ： fs.defaultFS hdfs://localhost:9000 输入命令：vi etc/hadoop/hdfs-site.xml 在 中添加命令，按 i 键进行编辑，编辑完成后按 Esc 键 输入 :wq 回车 ： dfs.replication 1 7．设置免密登录命令：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa （一直回车键） cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys（如果 yes/no 选择时输入 yes） 测试自己是否对自己免密登录命令： ssh localhost logout 退出 8．格式化 namenode 命令： hdfs namenode -format 如果格式化失败，在英文中会出现 Exception Error Cause 等字眼（去查看一下前面的配置或 者重新做一遍） 9．输入启动 hadoop 的 dfs 命令： sbin/start-dfs.sh 如果出现（没有那个文件或目录）这种报错=>输入命令：cd $HADOOP_HOME 然后在输 入启动命令。 启动成功后，输入命令：jps 查看进程中有没有这些文件 NameNode SecondaryNameNode DataNode 10．关闭虚拟机的防火墙命令：systemctl stop firewalld.service 用火狐浏览器访问 192.168.xxx.xxx:50070 （前面查看的 IP 地址） 伪分布式 附录 2 全分布式（集群搭建） 1．查看虚拟机网段 选择 编辑 → 虚拟机网络编辑器 → 选择 VMnet8 → 查看子网 （这里我的子网是 192.168.126.0）记住你虚拟机的网段 这里可以知道配置的 IP 地址可以是 192.168.126.0----192.168.126.255 之间 2．进入虚拟机中输入命令： vi /etc/sysconfig/network-scripts/ifcfg-ens33 按 i 键进入编辑模式： 将 BOOTPROTO=dhcp 改为 BOOTPROTO=static ONBOOT=no 改为 ONBOOT=yes 然后在文末加上你的网络配置： IPADDR=192.168.126.155（这里的 IP 地址是自己从上面的子网段中选的） GATEWAY=192.168.126.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 输入完成后按 Esc 键输入 :wq 回车 3．输入命令重启一下网络配置：service network restart 输入查看 IP 的命令：ip addr 然后打开 xshell 进行连接， 连接用户是 （root） 打开 xftp,进入 /opt 目录下，将 jdk 和 hadoop 压缩包上传上去 4．输入查看上传的文件命令：cd /opt 然后输入 ll（英文小写字母） 输入安装 java 命令：rpm -ivh /opt/jdk-7u67-linux-x64.rpm 将 hadoop 文件进行解压存到 /usr/local/ 目录下 输入命令： tar -zxf /opt/hadoop-2.6.5.tar.gz -C /usr/local/ 5．输入配置 hosts 的命令：vi /etc/hosts 按 i 键进行编辑 在文末加上： 192.168.126.155 master（我虚拟机的 IP 地址） 192.168.126.156 slave1 （只要在子网范围内都可以，我这里选择在我原 IP 地址上加一。 一定要记住你这里写得 IP 地址）输入完成后按 Esc 键输入 :wq 回车 6．输入命令：vi /etc/profile 修改环境变量，让系统知道你装了这个；在文末尾进行添加，按 i 键进行编辑，编辑完成后 按 Esc 键输入 :wq 回车 export HADOOP_HOME=/usr/local/hadoop-2.6.5/ export JAVA_HOME=/usr/java/jdk1.7.0_67 export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin; export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib 7．输入重新加载配置文件的命令：source /etc/profile 输入进入 hadoop 核心配置目录的命令： cd /usr/local/hadoop-2.6.5/etc/hadoop 8．输入配置 hadoop 运行环境的命令：vi hadoop-env.sh 找到 export JAVA_HOME=${JAVA_HOME} 改成 export JAVA_HOME=/usr/java/jdk1.7.0_67 9．输入配置接口环境的命令：vi core-site.xml 在 中添加命令,按 i 键进行编辑，编辑完成后按 Esc 键输 入 :wq 回车 ： hadoop.tmp.dir /opt/data/tmp fs.defaultFS hdfs://master:9000 10．输入配置 hdfs 配置文件的命令：vi hdfs-site.xml 在 中添加命令,按 i 键进行编辑，编辑完成后按 Esc 键输 入 :wq 回车 ： dfs.replication 1 11．输入配置 datanode 的命令：vi slaves 按 i 键进行编辑，编辑完成后按 Esc 键输入 :wq 回车 将里面的内容修改为 master slave1 输入配置免密登录 公钥的命令：ssh-keygen -t rsa （一直回车，如果遇到 yes 或 no 时， 输入 yes） 12．关闭虚拟机，在虚拟机界面左侧选择你的虚拟机单击鼠标右键选择 管理 → 克隆 → 一直下一页 → 克隆类型选择 “创建完整克隆“ 打开你克隆的虚拟机输入命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 按 i 键进入编辑模式：将你的 IP 地址改一下（改动的 IP 地址就是第五步你的第二个 IP 地 址） 输入重启网络配置的命令：service network restart 输入配置免密登录 公钥的命令：ssh-keygen -t rsa （一直回车，如果遇到 yes 或 no 时， 输入 yes） 修改克隆虚拟机主机名称的命令：vi /etc/hostname 输入重启虚拟机的命令：shutdown -r now 这就是改名成功了 打开另一个虚拟机修改名字：vi /etc/hostname 输入重启虚拟机的命令：shutdown -r now 这就是改名成功了 在虚拟机中(master)输入：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 输入命令：ssh-copy -id master （如果问 yes 或 no，输入 yes） 输入命令：ssh-copy -id slave1 （如果问 yes 或 no，输入 yes） 在克隆虚拟机(slave1)中输入： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 输入命令：ssh-copy -id master （如果问 yes 或 no，输入 yes） 输入命令：ssh-copy -id slave1 （如果问 yes 或 no，输入 yes） 输入进行互通命令：ssh master 和 ssh slave1 （两台虚拟机都要试试） 回到虚拟机 master 中输入格式化集群命令：cd $HADOOP_HOME hdfs namenode -format 输入启动集群的命令：cd $HADOOP_HOME sbin/start-dfs.sh 输入关闭防火墙的命令：systemctl stop firewalld.service 打开浏览器查看可视化界面 192.168.126.155:50070（你的 master 虚拟机的 IP 地址） 基于 MySQL 安装 hive 1、 卸载 mariadb rpm -qa |grep mariadb #查看 mariadb rpm -e --nodeps 查找出来的名字 #卸载 mariadb 2、 使用 wget 下载工具 yum -y install wget #安装 wget cd /opt #进入 opt 目录 wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7- 10.noarch.rpm #下载 mysql 的下载地址 yum repolist all | grep mys #查看 mysql 安装的文件 yum -y install mysql57-community-release-el7-10.noarch.rpm #先下载 yum -y install mysql-community-server #安装 MySQL 服务器 systemctl start mysqld.service #启动 mysql 服务 systemctl status mysqld.service #查看 mysql 状态 grep 'temporary password' /var/log/mysqld.log #产生一个随机密码 这里生成的密码是“uc%s&N5Lop=c” mysql -u root -p #进入 MySQL set global validate_password_policy=0; #将密码的难度改成 0 set global validate_password_length=6; #将密码长度改成 6 位 set password=password("123456"); #修改登录 MySQL 密码 quit; #退出 MySQL mysql -u root -p #进入 MySQL grant all privileges on *.* to 'root'@'%' identified by '123456'； #设置 mysql 的远程访问 flush privileges; #重新启动 quit; #退出 MySQL 将 hive 的安装包上传到 /opt 文件夹中 cd /opt #进入 opt 目录中 tar -zxf /opt/apache-hive-1.2.2-bin.tar.gz -C /usr/local/ #解压 hive mysql -u root -p #进入 MySQL create database hive character set latin1; #创建名字为 hive 的数据库 quit; #退出 MySQL cd /usr/local/apache-hive-1.2.2-bin/lib/ #进入 hive 的 lib 文件夹中 【 去 ” https://downloads.mysql.com/archives/c-j/ “ 下 载 (mysql-connector-java-5.1.48.zip) 打开压缩包将（mysql-connector-java-5.1.48.jar）上传并到 hive 安装目录下的“lib”文件夹中】 可以不用管 上传 mysql-connector-java-5.1.48.jar cd /usr/local/apache-hive-1.2.2-bin/ #进入 hive 目录中 cp lib/jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib #复制文件 rm -fr $HADOOP_HOME/share/hadoop/yarn/lib/jline-0.9.94.jar # 删除 jline 版本太低的 cd $HADOOP_HOME #进入 Hadoop 核心目录中 sbin/start-dfs.sh #启动 Hadoop cd /usr/local/apache-hive-1.2.2-bin #进入 hive 文件中 bin/hive #启动 hive cd conf #退出 hive ,进入 conf 文件中 cp hive-default.xml.template hive-site.xml #复制文件 vi hive-site.xml #进入 hive-site.xml 文件中 找到 javax.jdo.option.ConnectionUserName 将 value 中改成 root 找到 javax.jdo.option.ConnectionPassword 将 value 中改成 123456 找到 javax.jdo.option.ConnectionURL 将 value 中改成 jdbc:mysql://localhost:3306/hive?useSSL=false （这里的 hive 是创建的数据库名字） 找到 javax.jdo.option.ConnectionDriverName 将 value 中改成 com.mysql.jdbc.Driver 将其中的 【system:】全部删掉 cd /usr/local/apache-hive-1.2.2-bin/ #进入 hive 目录中 bin/schematool -dbType mysql –initSchema #将 Mysql 驱动到 lib 文件夹里面 bin/hive #启动 hive 打开 MySQL 软件 主机是 IP 地址 用户名是 root 密码是 mysql 设置的密码