hive安装、常用命令和属性配置

目录

 

安装mysql

hive常见属性配置

hive数据仓库位置配置

 查询后信息显示配置

hive运行日志信息配置

hive参数配置方式

---

正文

安装mysql

rpm -qa | grep mysql          //查看是否存在mysql
rmp -e --nodeps mysql-libs-5.1.73-7.e16.x84_64      //卸载已有的的mysql
cd /opt/software/mysql-libs/        //进入mysql-libs文件夹，其中有三个文件client、connector、server

//1.安装mysql服务端
rpm -ivh MySQL-server-5.6.24-1.e16.x86_64.rpm  //安装mysql服务端
cat /root/.mysql_secret   //查看产生的随机密码：PassW0rd
service mysql status   //查看mysql状态
service mysql start   //启动mysql

//2.安装mysql客户端
rmp -ivh MySQL-client-5.6.24-1.e16.x86_64.rmp    //安装mysql客户端
mysql -u root -p PassW0rd    //链接mysql
SET PASSWORD=PASSWORD('000000')         //修改密码
exit   //退出mysql

//3.mysql中user表中主机配置，首先进入mysql
select user,host,password from user       //查询user表
update user set host='%' where host='localhost'   //将user表中的host内容修改为%
delete from user where host='hadoop102'    //删除root用户的其他host
flush privileges        //刷新
quit   //退出  


//4.hive元数据配置到mysql
tar -zxvf mysql-connector-java=5.1.27.tar.gz       //解压驱动
rm -rf mysql-connector-java-5.1.27.tar.gz       //删除tar包
cd mysql-connector-java=5.1.27            //进入驱动所在目录
cp ./mysql-connector-java-5.1.27-bin.jar opt/module/hive/lib/  //将当前路径下的mysql包传入到hive中


//5.修改hive的配置信息
cd /opt/module/hive/conf       //进入hive的配置，修改信息
touch hive-site.xml        //创建配置文件
chown qx:qx hive-site.xml     //将hive-site文件的权限进行修改，根据官方文档添加内容，修改文件

//6.HiveJDBC访问
bin/hiveserver2            //进入hive的bin目录下启动hiveserver2服务
bin/beeline         //启动beeline
!connect jdbc:hive2://hadoop102:10000       //进入beeline目录执行此条语句后，输入用户名和密码，连接jdbc

hive常用命令

//1.常用交互命令
bin/hive -e "select id from student;"     //不进入hive的交互窗口执行sql语句
bin/hive -f ./hive.hql           //执行脚本文件中hql语句
bin/hive -f ./hive.hql > /opt/module/datas/hive_result.txt  //执行文件中SQL语句并将结构写入文件中


//hive其他操作命令
dfs -ls /              //在hive cli窗口中如何查看hdfs文件系统
! ls /opt/module/datas      //在hive cli命令窗口中查看本地文件系统
cat .hivehistory     //进入到当前用户的根目录/root查看.hivehistory文件

hive常见属性配置

• hive数据仓库位置配置

1. default数据仓库最原始位置是在hdfs上的：/user/hive/warehouse路径下
2. 在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹
3. 修改default数据仓库原始位置（将hive-default.xml.template 如下配置拷贝到hive-site.xml文件中）

<property>
    <name>hive.metastore.warehouse.dir<name>
    <value>/user/hive/warehouse</value>
    <description>
        location of default database for the warehouse
    </description>
</property>

配置同组用户有执行权

bin/hdfs dfs -chmod g+w /user/hive/warehouse

•  查询后信息显示配置

1. 在hive-site.xml文件中添加如下配置信息，可以实现显示当前数据库，以及查询表的头信息配置

   <property>
       <name>hive.cli.print.header</name>
       <value>true</value>
   </property>
   
   <property>
       <name>hive.cli.print.current.db</name>
       <value>true</value>
   </property>

    

• hive运行日志信息配置

1. hive的log默认存放在/tmp/qx/hive.log（当前用户名下）
2. 修改hive的log存放日志到/opt/module/hive/logs

mv hive-log4j.properties.template hive-log4j.properties           //进入conf目录下，修改hive-log4j.properties.template文件名称为hive-log4j.properties

hive.log.dir=/opt/module/hive/logs     //在hive-log4j文件中修改kog存放位置

• hive参数配置方式

1. 查看当前所有配置信息：set          //进入hive后输入set
2. 参数的配置三种方式

   //1.配置文件方式
   默认配置文件：hive-default.xml
   用户自定义配置文件：hive-site.xml
   注意：用户自定义配置会覆盖默认配置
   
   
   //命令行参数方式
   启动hive时，可以在命令行添加-hiveconf param=value来设定参数
   set mapred.reduce.tasks   //进入hive中，查看设置
   bin/hive -hiveconf mapred.reduce.task=10   //设置方法一
   set mapred.reduce.tasks=11      //设置方法二