hive
文章平均质量分 67
曾牛
成功的三个关键,坚持,坚持,再坚持
展开
-
Hive on Spark配置
1. Hive引擎简介Hive引擎包括:默认MR、tez、sparkHive on Spark:Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。Spark on Hive : Hive只作为存储元数据,Spark负责SQL解析优化,语法是Spark SQL语法,Spark负责采用RDD执行。2. Hive on Spark配置1)兼容性说明注意:官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive原创 2022-04-04 17:12:15 · 3662 阅读 · 0 评论 -
hive之wordcount实践操作
1.建内部表hive> create table article(sentence string) row format delimited fields terminated by '\n';OKTime taken: 2.821 seconds2.导入数据hive (default)> load data local inpath './The_Man_of_Pro...原创 2018-10-29 21:35:45 · 195 阅读 · 0 评论 -
hive报错集锦
hive导入数据报错报错原因:load data local顺序写反了改顺序后执行成功:hive (badou)> load data local inpath '/home/dongdong/hive/orders.csv' overwrite into table orders;Loading data to table badou.ordersOKTime t...原创 2018-11-01 23:05:10 · 1076 阅读 · 0 评论 -
hive优化
Map优化通过调整脚本的参数来设置map的个数,和设置block大小,block是影响map个数的关键因素直接设置map个数:set mapred.map.tasks=10 2.为了任务加快,有一些任务可以考虑开启compiners: Hive.map.aggr=trueReduce优化:1.提交sql,设置的参数原因:有一个reduce个数的计算公式,...原创 2018-11-07 16:31:29 · 551 阅读 · 0 评论 -
hive业务场景
表一:orders(订单表)create table orders(order_id string,user_id string,eval_set string,order_number string,order_dow string,order_hour_of_day string,days_since_prior_order string)row format delim...原创 2018-11-06 22:07:36 · 540 阅读 · 0 评论 -
hive相关实践操作
hive建表语句:1.建内部表hive (badou)> create table udata(userid int,item_id int,rating int,`timestamp` timestamp)row format delimited fields terminated by ' ';OKTime taken: 2.254 secondshive (badou)&...原创 2018-10-29 22:33:56 · 330 阅读 · 0 评论 -
hive中关键字作为列名的方法
hive中有很多关键字,直接作为列名,会出错的解决方案:使用·· (ESC下面的那个键,点号)两个符号包裹即可。hive (badou)> create table udata(userid int,item_id int,rating int,`timestamp` timestamp)row format delimited fields terminated by ' ';...原创 2018-10-29 22:02:19 · 5235 阅读 · 0 评论 -
Hive环境搭建之本地MySQL模式
Hive共有三种安装模式:1.单用户模式(本地模式、嵌入模式);2.本地MySQL模式;3.远程MySQL模式。三者的区别是:1.单用户模式是本地模式的一种,它的元信息存储在hive自带的Derby数据库中,同一时刻只能为一个用户提供服务,功能是用于测试hive程序;2.本地MySQL模式的元信息存储在本地MySQL中,同一时刻可以为多个用户提供服务,功能是用于开发测试hive程序;3.远程MyS...原创 2018-10-10 08:03:22 · 364 阅读 · 1 评论