Hive
关注
分享
扫一扫
Geek白先生
摆正心态，与时俱进
展开
-
Hive的变量和参数、数据编码、数据库定义
变量和参数客户端中的变量分四个域：hivevar (用户自定义)hiveconf（hive配置变量)env (系统环境变量）system (操作系统变量)hive>set打印所有域中的相关属性,也可以用set来修改属性值，例如：1）hive> set env:HADOOP_HOME;【打印系统环境变量HADOOP_HOME】 结果：env:HADOOP_HO...原创 2019-08-25 00:40:00 · 1336 阅读 · 0 评论 -
Hive的介绍、工作流程、安装部署，遇到的异常
Hive介绍Hive的官方定义：Apache Hive 数据仓库软件支持使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投影到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。Hive是一个数据仓库基础设施工具，用于在Hadoop中处理结构化数据。它位于Hadoop之上，可以对大数据进行汇总，便于查询和分析。所以需要Hadoop的HDFS...原创 2019-08-20 23:27:45 · 313 阅读 · 1 评论 -
Hive的管理表、外部表、分区表、分桶
管理表管理表又称托管表、内部表，默认创建的表都是管理表案例：hive> create table if not exists stocks (exchange1 string,symbol string,ymd string) row format delimited fields terminated by ‘,’ ;hive>load data inpath ‘/user/...原创 2019-08-25 22:22:42 · 381 阅读 · 0 评论 -
Linux手动安装Mysql，再与Hive整合
Hive元数据说明首先，Hive的元数据(模型)存储在Mysql的数据库中。由BDS、TBLS、SDS表维护。其次，真正的数据将存储在{$hive.metastore.warehouse.dir}属性的目录下；创建新的DataBase，将在{$hive.metastore.warehouse.dir}属性的目录下构建相对应的dbname.db文件夹。新创建的Table，将在对应的dbna...原创 2019-08-22 10:01:35 · 413 阅读 · 0 评论 -
搭建HiveServer2
到hive的配置文件 hive-site.xml 中，配置如下内容：<!--配置hiveserver2主机(这里最好是配置ip地址，以便于从Windows连接)--><property> <name>hive.server2.thrift.bind.host</name> <value>master</value>...原创 2019-08-26 09:27:50 · 517 阅读 · 0 评论 -
表修改、装载数据、查询命令
hive的表修改1.alter table修改表的元数据： a.修改表名称： hive>alter table student rename to student1; b.修改表分区 hive>alter table hive.logs add partition (dt='2019-08-20',country='changchun'); hive&g...原创 2019-08-26 23:57:34 · 409 阅读 · 0 评论 -
group by分组、排序、存储格式、UDF用户自定义函数
group by分组hive> select year(ymd),avg(price_close) from stocks where exchange1 = ‘NASDAQ’ and symbol = ‘AAPL’ group by year(ymd);排序创建测试数据hive>create table hive.test(id int,name string) row f...原创 2019-09-01 08:39:16 · 1019 阅读 · 0 评论 -
hive项目应用——用户画像
1 . 用户id 下单时间 修改日期 地址 手机号11723 1249488000 20160219 阳光大道101号8号楼158 13874836472 . 创建订单表；create EXTERNAL table orders(uid int,create_time int,modify_date string,address string,mobile string...原创 2019-08-31 22:35:17 · 1148 阅读 · 0 评论