Hadoop+Hive+MySQL（单机/本地模式）安装与配置

目录

MySQL安装

安装JDK

免密

Hadoop（单机）安装

安装hive

---

MySQL安装

第一步，切换为root用户

su root

第二步，安装mysql

​wget http://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm

rpm -ivhmysql57-community-release-el7-11.noarch.rpm

systemctl start mysqld

systemctl status mysqld    //查看是否启动，running则为启动

第三步，查看mysql初始密码

grep 'temporary password' /var/log/mysqld.log

第四步，修改MySQL的密码

vi /etc/my.cnf

在文件末尾加入红框里的两行代码，代码如下：

validate_password_policy=LOW

validate_password_length=6

完成上面内容以后，进入MySQL修改密码

mysql -u root -p'你的初始密码'

修改密码并刷新内存

代码如下

set password=password('123456');

flush privileges;

注：语句后面有英文分号“;”，不是中文“；”，也别漏了

这样MySQL就安装完成了

安装JDK

第一步，卸载原生JDK

查看是否有原生JDK（有的可能没有，没有的跳过以下步骤）

java version

查看Java安装包

yum list installed | grep java

卸载原生JDK

yum -y remove java-1.8.0-openjdk*

yum -y remove java-1.7.0-openjdk*

第二步，切回普通用户

su 你的用户名字

第三步，上传JDK到Linux上

第四步，解压JDK

改名

配置环境变量（.bash_profile是用户环境，/etc/profile是系统环境）

vi ~/.bash_profile

export JAVA_HOME=/home/hive/Java

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

刷新环境

source ~/.bash_profile

验证Java是否安装成功

免密

首先切换为root

su root

关闭防火墙

systemctl stop firewallwalld

systemctl disable firewallwalld

关闭SELinux

vi /etc/selinux/config

开始免密

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys（或者ssh-copy-id）

chmod 0600 ~/.ssh/authorized_keys

注意：改这个权限是因为如果你hadoop不是装在root下那么你需要免密你Hadoop所在的用户，在root下完成关闭防火墙以后，切换到你安装Hadoop的用户再进行免密。

Hadoop（单机）安装

第一步，上传Hadoop到Linux

第二步，解压Hadoop

第三部，改名

第四步，配置hadoop环境

在hadoop根目录下创建三个文件夹name、data、tmp

配置环境.bash_profile

vi ~/.bash_profile

export HADOOP_HOME=/home/hive/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

完成以后

source ~/.bash_profile

配置Hadoop的配置文件

cd /home/hivehadoop/etc/hadoop

第一个文件hadoop-env.sh

配置core-site.xml

配置hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
  <name>dfs.name.dir</name>
    <value>file:///home/hive/hadoop/name</value>
</property>

<property>
  <name>dfs.data.dir</name>
    <value>file:///home/hive/hadoop/data</value>
</property>

这样就成功了

安装hive

安装并改名

修改hive-env.sh文件

拷贝hive-default.xml.template文件为hive-site.xml文件，并配置

配置hive用户环境

删除hive的guava组件，复制Hadoop的guava到hive

复制mysql连接器的jar包到hive的lib里没有可以去官网下载。

数据初始化

进入到hive

show databases成功