![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 67
曾牛
成功的三个关键,坚持,坚持,再坚持
展开
-
Hive on Spark配置
1. Hive引擎简介 Hive引擎包括:默认MR、tez、spark Hive on Spark:Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据,Spark负责SQL解析优化,语法是Spark SQL语法,Spark负责采用RDD执行。 2. Hive on Spark配置 1)兼容性说明 注意:官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive原创 2022-04-04 17:12:15 · 3601 阅读 · 0 评论 -
hive之wordcount实践操作
1.建内部表 hive> create table article(sentence string) row format delimited fields terminated by '\n'; OK Time taken: 2.821 seconds 2.导入数据 hive (default)> load data local inpath './The_Man_of_Pro...原创 2018-10-29 21:35:45 · 190 阅读 · 0 评论 -
hive报错集锦
hive导入数据报错 报错原因: load data local顺序写反了 改顺序后执行成功: hive (badou)> load data local inpath '/home/dongdong/hive/orders.csv' overwrite into table orders; Loading data to table badou.orders OK Time t...原创 2018-11-01 23:05:10 · 1042 阅读 · 0 评论 -
hive优化
Map优化 通过调整脚本的参数来设置map的个数,和设置block大小,block是影响map个数的关键因素 直接设置map个数:set mapred.map.tasks=10 2.为了任务加快,有一些任务可以考虑开启compiners: Hive.map.aggr=true Reduce优化: 1.提交sql,设置的参数 原因:有一个reduce个数的计算公式,...原创 2018-11-07 16:31:29 · 530 阅读 · 0 评论 -
hive业务场景
表一:orders(订单表) create table orders( order_id string, user_id string, eval_set string, order_number string, order_dow string, order_hour_of_day string, days_since_prior_order string ) row format delim...原创 2018-11-06 22:07:36 · 508 阅读 · 0 评论 -
hive相关实践操作
hive建表语句: 1.建内部表 hive (badou)> create table udata(userid int,item_id int,rating int,`timestamp` timestamp)row format delimited fields terminated by ' '; OK Time taken: 2.254 seconds hive (badou)&...原创 2018-10-29 22:33:56 · 324 阅读 · 0 评论 -
hive中关键字作为列名的方法
hive中有很多关键字,直接作为列名,会出错的 解决方案: 使用·· (ESC下面的那个键,点号)两个符号包裹即可。 hive (badou)> create table udata(userid int,item_id int,rating int,`timestamp` timestamp)row format delimited fields terminated by ' ';...原创 2018-10-29 22:02:19 · 5198 阅读 · 0 评论 -
Hive环境搭建之本地MySQL模式
Hive共有三种安装模式:1.单用户模式(本地模式、嵌入模式);2.本地MySQL模式;3.远程MySQL模式。三者的区别是:1.单用户模式是本地模式的一种,它的元信息存储在hive自带的Derby数据库中,同一时刻只能为一个用户提供服务,功能是用于测试hive程序;2.本地MySQL模式的元信息存储在本地MySQL中,同一时刻可以为多个用户提供服务,功能是用于开发测试hive程序;3.远程MyS...原创 2018-10-10 08:03:22 · 338 阅读 · 1 评论