一.搭建hive步骤
所用的环境:操作系统 Linux Ubuntu16.04(64位),
jdk-8u211-linux-x64-tar.gz Hadoop-3.1.2.tar.gz apache-hive-3.1.2-bin.tar.gz), mysql(5.7.27,系统里自带有MySQL的安装包,不用自己下载)
将jdk,hadoop,hive的安装包下载至/home目录里,并新建Java,hive,hadoop三个文件夹
一. 搭建jdk
1. tar -xvf jdk-8u211-linux-x64.tar.gz:解压安装包
mv jdk1.8.0-211 /home/java(将其移到java目录下)
cd java(打开Java目录)
mv jdk.8.0_211 jdk1.8(改名)
2. 配置文件
vim /etc/profile
source /etc/profile :使得配置文件生效
3. java -version查看是否有版本信息出现
Jdk搭建完成
二. 搭建MySQL
1. apt-get update 更新软件源;
2. apt-get install mysql-server 安装mysql(会创建MySQL的登录密码)
3. 编辑配置文件:
vim /etc/mysql/mysql.conf.d/mysqld.cnf
注释掉 bind-address:127.0.0.1 (让MySQL能够被远程访问)
4. 登录MySQL。进行MySQL授权操作:
grant all on*.* to root@’%’ identified by ‘数据库登录密码’ with grant option;(赋予MySQL能远程访问的权限)
flush privileges(刷新权限)
5. 退出MySQL,在重启MySQL :service MySQL restart
6. 查看mysql是否能够远程连接:
使用sqlyog工具看是否能远程连接MySQL
连接成功,MySQL搭建完成
三. 搭建Hadoop伪分布式
1. 修改主机名字:vim /etc/hostname (为后面编辑配置文件做准备)
2. 添加网络映射:vim /etc/hosts(主机ip地址[私有],主机名字)
3. 关闭防火墙:ufw disable
4. 启动ssh-server实现免密码登录:
1)/etc/init.d/ssh start:启动ssh
2)ps -ef|grep ssh: 查看ssh启动与否
ssh-keygen -t rsa:进行了三次回车,直至生成rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys :导入authorized_keys(公钥)
ssh localhost:测试是否能免密登录
5. 安装伪分布式模式:
1) 解压hadoop安装包:tar -xvf hadoop-3.1.2.tar.gz
移至Hadoop目录并重命名: mv hadoop-3.1.2 /home/hadoop
cd hadoop
mv hadoop-3.1.2 hadoop3.1
2) 创建目录
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
3) 配置文件:
vim /etc/profile
source /etc/profile:使得配置文件生效
自此hadoop单机模式搭建完成
hadoop version:验证单机模式是否成功
cd /home/hadoop/hadoop3.1/etc/hadoop:打开Hadoop目录
vim core-site.xml