python编程快速上手(持续更新中…)
推荐系统基础
文章目录
一、准备工作
1、虚拟机安装MySQl
安装好MySQL之后 ,进入新建一个用户hadoop并赋权
create user ‘hadoop’@’%’ IDENTIFIED BY ‘123456’;
grant all on . to ‘hadoop’@’%’;
2、虚拟机安装hadoop
3、Hive安装包
同上
二、安装Hive
根目录下新建sofeware目录将安装包拖入
mkdir /software
1、解压,改名
解压至opt目录下
tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz -C /opt/
进入opt目录对其改名
cd /opt
mv hive-1.1.0-cdh5.14.2/ hive
2、修改环境变量
vi /etc/profile
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile
3、修改配置文件
A.在hive的conf目录下新建配置文件
vi /opt/hive/conf/hive-site.xml
添加下方配置
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!--管理表存储的位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>hdfs://hadoop1:9000/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<!-- 指定hive元数据存储的MySQL地址 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value>
</property>
<!-- 元数据存储数据库的驱动 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- 元数据存储数据库的用户名 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>
</property>
<!-- 元数据存储数据库的密码,(注:这里是mysql自己root用户的密码) -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
B.将上面配置文件中需要的目录创建一下
mkdir /opt/hive/warehouse
C.在hive的conf目录下新建配置文件
vi /opt/hive/conf/hive-env.sh
添加下方配置
export HADOOP_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HIVE_AUX_JARS_PATH=/opt/hive/lib
export JAVA_HOME=/opt/jdk8
export HIVE_CONF_DIR=/opt/hive/conf
D.进入hive的conf目录下
cd /opt/hive/conf
将文件hive-log4j.properties.template改名
mv hive-log4j.properties.template hive-log4j.properties
E.进入
vi hive-log4j.properties
按下19回车快速定位,将内容修改为
hive.log.dir=/opt/hive/logs
F.完成后将目录创建一下
mkdir /opt/hive/logs
G.进入software拷贝jar到目录下的lib目录
cp /software
cp mysql-connector-java-5.1.0-bin.jar /opt/hive/lib
将mysql-connector的jar包拖入
H.给hive文件赋权
chmod 777 /opt/hive
三、运行Hive
1、先启动hdfs
start-dfs.sh
2、初始化数据库
schematool -initSchema -dbType mysql
3、输入命令
hive
hive启动异常:Cannot create directory /tmp/hive/。。。Name node is in safe mode.
hdfs dfsadmin -safemode leave
4、使用Navicat连接数据库
发现已有hive库,表示hive已成功运行
5、exit退出
6、配置文件上warehouse目录存储在hdfs上
可以使用172.18.2.2:50070查看刚才建的表
异常:Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx-wx-wx
hdfs dfs -chmod -R 777 /tmp