本地 hive 的安装 准备软件: 1. 在装 hive 之前,你一定要确保你是否安装 伪分布式(附录 1) 或者全分布式(附录 2) 2. 准备好 hive 安装包 apache-hive-1.2.2-bin.tar.gz 3.打开 xftp4 连接好(用 IP 地址连接) 进入 /opt 文件目录中将 hive 安装包上传到/opt 目录中 输入查看 hive 压缩包在不在/opt 目录下的命令:cd /opt ll(是小写字 母) 输入解压命令将 hive 解压到/usr/local/ 目录下: tar -zxf /opt/apache-hive-1.2.2-bin.tar.gz -C /usr/local/ 输入命令: cd /usr/local/ mv apache-hive-1.2.2-bin hive-1.2.2 查看文件,发现文件名过长,更改文件名将 apache-hive-1.2.2-bin 改为 hive-1.2.2 配置环境变量输入命令: vi /etc/profile 在末尾加上: export HIVE_HOME=/usr/local/hive-1.2.2/ 在 export PAHT 后加上 :$HIVE_HOME/bin 输入命令重新加载文件: source /etc/profile 启动 hdfs+yarn 的命令: $HADOOP_HOME/sbin/start-all.sh 输入启动命令: bin/hive 如果出现报错 jline 时,hive 启动时要依赖 yarn,yarn 里面有一个叫 jline 的 jar 包版 本太低所以需要更改版本。 输入进入依赖文件夹的命令: cd $HIVE_HOME/lib/ cp jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib cd $HADOOP_HOME/share/hadoop/yarn/lib 删除老版本的命令: rm jline-0.9.94.jar(如果询问是否删除文件时 输入 yes) 输入启动 hive 命令: cd /usr/local/hive-1.2.2 bin/hive 附录 1《伪分布式/集群搭建》安装教程 1. 配置网络 输入命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33 进入下面的窗口,按 i 键进行编辑,将 ONBOOT=no 改为 ONBOOT=yes ;编辑完成 后按 Esc 键,在英文状态下输入 :wq 回车 便退出 vi 模式。 输入重新启动一下网卡命令:service network restart 2.输入查看 IP 地址命令:ip addr 打开 xshell 进行连接 打开 xftp,进入 /opt 目录下,将 jdk 和 hadoop 压缩包上传上去 3.输入查看上传的文件命令:cd /opt 然后输入 ll 输入安装 java 命令:rpm -ivh /opt/jdk-7u67-linux-x64.rpm 将 hadoop 文件进行解压存到 /usr/local/ 目录下 输入命令: tar -zxf /opt/hadoop-2.6.5.tar.gz -C /usr/local/ 4.输入命令:vi /etc/profile 修改环境变量,让系统知道你装了这个;在文末尾进行添加 按 i 键进行编辑,编辑完成 后按 Esc 键输入 :wq 回车 export HADOOP_HOME=/usr/local/hadoop-2.6.5/ export JAVA_HOME=/usr/java/jdk1.7.0_67 export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin; export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib 输入命令:source /etc/profile 重新加载配置文件 输入命令:cd $HADOOP_HOME cd $JAVA_HOME 测试是否能够跳转,测试是否配置成功 5.修改 hadoop 运行环境 输入命令:cd $HADOOP_HOME/etc/hadoop vi hadoop-env.sh 找到 export JAVA_HOME=${JAVA_HOME} 改成 export JAVA_HOME=/usr/java/jdk1.7.0_67 6.输入进入 hadoop 目录的命令:cd /usr/local/hadoop-2.6.5/ 或者 cd $HADOOP_HOME 输入命令: vi etc/hadoop/core-site.xml 在 中添加命令,按 i 键进行编辑,编辑完成后按 Esc 键 输入 :wq 回车 : fs.defaultFS hdfs://localhost:9000 输入命令:vi etc/hadoop/hdfs-site.xml 在 中添加命令,按 i 键进行编辑,编辑完成后按 Esc 键 输入 :wq 回车 : dfs.replication 1 7.设置免密登录命令:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (一直回车键) cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys(如果 yes/no 选择时输入 yes) 测试自己是否对自己免密登录命令: ssh localhost logout 退出 8.格式化 namenode 命令: hdfs namenode -format 如果格式化失败,在英文中会出现 Exception Error Cause 等字眼(去查看一下前面的配置或 者重新做一遍) 9.输入启动 hadoop 的 dfs 命令: sbin/start-dfs.sh 如果出现(没有那个文件或目录)这种报错=>输入命令:cd $HADOOP_HOME 然后在输 入启动命令。 启动成功后,输入命令:jps 查看进程中有没有这些文件 NameNode SecondaryNameNode DataNode 10.关闭虚拟机的防火墙命令:systemctl stop firewalld.service 用火狐浏览器访问 192.168.xxx.xxx:50070 (前面查看的 IP 地址) 伪分布式 附录 2 全分布式(集群搭建) 1.查看虚拟机网段 选择 编辑 → 虚拟机网络编辑器 → 选择 VMnet8 → 查看子网 (这里我的子网是 192.168.126.0)记住你虚拟机的网段 这里可以知道配置的 IP 地址可以是 192.168.126.0----192.168.126.255 之间 2.进入虚拟机中输入命令: vi /etc/sysconfig/network-scripts/ifcfg-ens33 按 i 键进入编辑模式: 将 BOOTPROTO=dhcp 改为 BOOTPROTO=static ONBOOT=no 改为 ONBOOT=yes 然后在文末加上你的网络配置: IPADDR=192.168.126.155(这里的 IP 地址是自己从上面的子网段中选的) GATEWAY=192.168.126.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 输入完成后按 Esc 键输入 :wq 回车 3.输入命令重启一下网络配置:service network restart 输入查看 IP 的命令:ip addr 然后打开 xshell 进行连接, 连接用户是 (root) 打开 xftp,进入 /opt 目录下,将 jdk 和 hadoop 压缩包上传上去 4.输入查看上传的文件命令:cd /opt 然后输入 ll(英文小写字母) 输入安装 java 命令:rpm -ivh /opt/jdk-7u67-linux-x64.rpm 将 hadoop 文件进行解压存到 /usr/local/ 目录下 输入命令: tar -zxf /opt/hadoop-2.6.5.tar.gz -C /usr/local/ 5.输入配置 hosts 的命令:vi /etc/hosts 按 i 键进行编辑 在文末加上: 192.168.126.155 master(我虚拟机的 IP 地址) 192.168.126.156 slave1 (只要在子网范围内都可以,我这里选择在我原 IP 地址上加一。 一定要记住你这里写得 IP 地址)输入完成后按 Esc 键输入 :wq 回车 6.输入命令:vi /etc/profile 修改环境变量,让系统知道你装了这个;在文末尾进行添加,按 i 键进行编辑,编辑完成后 按 Esc 键输入 :wq 回车 export HADOOP_HOME=/usr/local/hadoop-2.6.5/ export JAVA_HOME=/usr/java/jdk1.7.0_67 export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin; export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib 7.输入重新加载配置文件的命令:source /etc/profile 输入进入 hadoop 核心配置目录的命令: cd /usr/local/hadoop-2.6.5/etc/hadoop 8.输入配置 hadoop 运行环境的命令:vi hadoop-env.sh 找到 export JAVA_HOME=${JAVA_HOME} 改成 export JAVA_HOME=/usr/java/jdk1.7.0_67 9.输入配置接口环境的命令:vi core-site.xml 在 中添加命令,按 i 键进行编辑,编辑完成后按 Esc 键输 入 :wq 回车 : hadoop.tmp.dir /opt/data/tmp fs.defaultFS hdfs://master:9000 10.输入配置 hdfs 配置文件的命令:vi hdfs-site.xml 在 中添加命令,按 i 键进行编辑,编辑完成后按 Esc 键输 入 :wq 回车 : dfs.replication 1 11.输入配置 datanode 的命令:vi slaves 按 i 键进行编辑,编辑完成后按 Esc 键输入 :wq 回车 将里面的内容修改为 master slave1 输入配置免密登录 公钥的命令:ssh-keygen -t rsa (一直回车,如果遇到 yes 或 no 时, 输入 yes) 12.关闭虚拟机,在虚拟机界面左侧选择你的虚拟机单击鼠标右键选择 管理 → 克隆 → 一直下一页 → 克隆类型选择 “创建完整克隆“ 打开你克隆的虚拟机输入命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33 按 i 键进入编辑模式:将你的 IP 地址改一下(改动的 IP 地址就是第五步你的第二个 IP 地 址) 输入重启网络配置的命令:service network restart 输入配置免密登录 公钥的命令:ssh-keygen -t rsa (一直回车,如果遇到 yes 或 no 时, 输入 yes) 修改克隆虚拟机主机名称的命令:vi /etc/hostname 输入重启虚拟机的命令:shutdown -r now 这就是改名成功了 打开另一个虚拟机修改名字:vi /etc/hostname 输入重启虚拟机的命令:shutdown -r now 这就是改名成功了 在虚拟机中(master)输入:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 输入命令:ssh-copy -id master (如果问 yes 或 no,输入 yes) 输入命令:ssh-copy -id slave1 (如果问 yes 或 no,输入 yes) 在克隆虚拟机(slave1)中输入: cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 输入命令:ssh-copy -id master (如果问 yes 或 no,输入 yes) 输入命令:ssh-copy -id slave1 (如果问 yes 或 no,输入 yes) 输入进行互通命令:ssh master 和 ssh slave1 (两台虚拟机都要试试) 回到虚拟机 master 中输入格式化集群命令:cd $HADOOP_HOME hdfs namenode -format 输入启动集群的命令:cd $HADOOP_HOME sbin/start-dfs.sh 输入关闭防火墙的命令:systemctl stop firewalld.service 打开浏览器查看可视化界面 192.168.126.155:50070(你的 master 虚拟机的 IP 地址) 基于 MySQL 安装 hive 1、 卸载 mariadb rpm -qa |grep mariadb #查看 mariadb rpm -e --nodeps 查找出来的名字 #卸载 mariadb 2、 使用 wget 下载工具 yum -y install wget #安装 wget cd /opt #进入 opt 目录 wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7- 10.noarch.rpm #下载 mysql 的下载地址 yum repolist all | grep mys #查看 mysql 安装的文件 yum -y install mysql57-community-release-el7-10.noarch.rpm #先下载 yum -y install mysql-community-server #安装 MySQL 服务器 systemctl start mysqld.service #启动 mysql 服务 systemctl status mysqld.service #查看 mysql 状态 grep 'temporary password' /var/log/mysqld.log #产生一个随机密码 这里生成的密码是“uc%s&N5Lop=c” mysql -u root -p #进入 MySQL set global validate_password_policy=0; #将密码的难度改成 0 set global validate_password_length=6; #将密码长度改成 6 位 set password=password("123456"); #修改登录 MySQL 密码 quit; #退出 MySQL mysql -u root -p #进入 MySQL grant all privileges on *.* to 'root'@'%' identified by '123456'; #设置 mysql 的远程访问 flush privileges; #重新启动 quit; #退出 MySQL 将 hive 的安装包上传到 /opt 文件夹中 cd /opt #进入 opt 目录中 tar -zxf /opt/apache-hive-1.2.2-bin.tar.gz -C /usr/local/ #解压 hive mysql -u root -p #进入 MySQL create database hive character set latin1; #创建名字为 hive 的数据库 quit; #退出 MySQL cd /usr/local/apache-hive-1.2.2-bin/lib/ #进入 hive 的 lib 文件夹中 【 去 ” https://downloads.mysql.com/archives/c-j/ “ 下 载 (mysql-connector-java-5.1.48.zip) 打开压缩包将(mysql-connector-java-5.1.48.jar)上传并到 hive 安装目录下的“lib”文件夹中】 可以不用管 上传 mysql-connector-java-5.1.48.jar cd /usr/local/apache-hive-1.2.2-bin/ #进入 hive 目录中 cp lib/jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib #复制文件 rm -fr $HADOOP_HOME/share/hadoop/yarn/lib/jline-0.9.94.jar # 删除 jline 版本太低的 cd $HADOOP_HOME #进入 Hadoop 核心目录中 sbin/start-dfs.sh #启动 Hadoop cd /usr/local/apache-hive-1.2.2-bin #进入 hive 文件中 bin/hive #启动 hive cd conf #退出 hive ,进入 conf 文件中 cp hive-default.xml.template hive-site.xml #复制文件 vi hive-site.xml #进入 hive-site.xml 文件中 找到 javax.jdo.option.ConnectionUserName 将 value 中改成 root 找到 javax.jdo.option.ConnectionPassword 将 value 中改成 123456 找到 javax.jdo.option.ConnectionURL 将 value 中改成 jdbc:mysql://localhost:3306/hive?useSSL=false (这里的 hive 是创建的数据库名字) 找到 javax.jdo.option.ConnectionDriverName 将 value 中改成 com.mysql.jdbc.Driver 将其中的 【system:】全部删掉 cd /usr/local/apache-hive-1.2.2-bin/ #进入 hive 目录中 bin/schematool -dbType mysql –initSchema #将 Mysql 驱动到 lib 文件夹里面 bin/hive #启动 hive 打开 MySQL 软件 主机是 IP 地址 用户名是 root 密码是 mysql 设置的密码
412421421
最新推荐文章于 2024-08-16 11:28:57 发布