Hive
Hive的基本使用
程序员小羽
这个作者很懒,什么都没留下…
展开
-
6.Hive动态分区和分桶
动态分区 hive的动态分区配置 --hive设置hive动态分区开启 set hive.exec.dynamic.partition=true; 默认:true --hive的动态分区模式 set hive.exec.dynamic.partition.mode=nostrict; 默认:strict(至少有一个分区列是静态分区) #相关参数 --每一个执行mr节点上,允许创建的动态分区的最大数量(100),分区目录 set hive.exec.max.dynamic.partitions.p原创 2021-07-21 17:19:20 · 114 阅读 · 0 评论 -
5.Hive Server2
修改hdfs的超级用户权限 <!--在hdfs集群的core-site.xml文件中添加如下配置文件--> <property> <!--修改的是hdfs权限,如果是aa用户就写成--><!--hadoop.proxyuser.aa.groups--> <name>hadoop.proxyuser.root.groups</name> <!--这里用到的是*,所有用户都可以被伪装--> <!--可以指添加几个原创 2021-07-21 17:19:09 · 418 阅读 · 0 评论 -
4.Hive Serde
--原始数据 192.168.57.4 - - [29/Feb/2019:18:14:35 +0800] "GET /bg-upper.png HTTP/1.1" 304 - --创建表 CREATE TABLE logtbl ( host STRING, identity STRING, t_user STRING, time STRING, request STRING, referer STRING, agent STRING ) ROW FORMAT SERDE 'org.apach原创 2021-07-21 17:18:34 · 100 阅读 · 0 评论 -
3.Hive基本SQL操作
表结构 1,小明1,lol-book-movie,dalian:ganjingzi-shenyang:sujiatun 2,小明2,lol-book-movie,dalian:ganjingzi2-shenyang:sujiatun2 对于Hive多了以下几种类型 #基本数据类型 string #复杂数据类型 #array和map要求数据类型一致 array #集合 map #map struct #相当于类 创建表(DDL) 自定义分隔符 create table psn( id int,原创 2021-07-21 17:18:24 · 229 阅读 · 0 评论 -
2.Hive远程元数据服务模式安装
安装步骤 tongyuzhe3:服务端 tongyuzhe4:客户端 解压安装 修改环境变量 修改配置文件 <!--tongyuzhe3--> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive_remote/warehouse</value> </property> <property> <name>j原创 2021-07-21 17:18:14 · 84 阅读 · 0 评论 -
1.Hive远程数据库模式安装
Hive用途 1. Hive为了解决MapReduce过于复杂而出现的技术 2. 可以利用sql语句操控HDFS数据 3. 底层依然是MapReduce 使用方式 命令行界面 JDBC\ODBC webui(废弃了,其他的代替了) 安装方式 编译安装,类似exe rpm包安装 YARM安装 解压安装 运行模式种类 本地模式:链接本地Derby(一般不用) 连接模式:链接远程mysql(自己学习用) 远程服务器模式:用于非Java客户端访问元数据库,在服务器端启动MetaStoreServer,客原创 2021-07-21 17:17:52 · 159 阅读 · 0 评论