Hive
阿誠的数据杂货铺
就是个打杂的
展开
-
Hive实战
实战一:创建表数据集:movies.csv用,隔开,三列数据分别表示movie_id,movie_name,genres(电影id,电影名字,电影风格)数据集:rating.csv用,隔开,四列数据分别表示user_id,movie_id,rating,timestamp1.在hive根目录下命令行输入hive2.shell创建表HDFS创建目录:/hiv...原创 2019-05-26 14:52:59 · 592 阅读 · 0 评论 -
sqoop导入导出数据
导入:MySQL==> HDFS、Hive、Hbase导出:HDFS、Hive、Hbase ==> MySQL一、安装,配置环境1、下载压缩包2、配置文件sqoop.env.sh3、验证:bin/sqoop help4、拷贝jdbc驱动到sqoop/lib5、连接MySQL[root@master sqoop-1.4.7]# ./bin/sqoop...原创 2019-07-28 16:41:40 · 237 阅读 · 0 评论 -
hive读取Hbase的数据
1、文档(不会的直接找文档最方便)HBaseIntegration2、拷贝jar文件2.1 将Hbase/bin目录下面文件拷贝到Hive/bin目录下cd /home/hbase/libcp ./* /home/hive/lib2.2把Hive的lib目录下面的hive-hbase-handler-0.13.1.jar拷贝到Hbase的lib目录下面cp /...转载 2019-07-27 19:43:57 · 664 阅读 · 0 评论 -
Hive高级 (Rank函数)
有如下数据:孙悟空,语文,87孙悟空,数学,95孙悟空,英语,68沙悟净,语文,94沙悟净,数学,56沙悟净,英语,84宋松松,语文,64宋松松,数学,86宋松松,英语,84罗婷婷,语文,65罗婷婷,数学,85罗婷婷,英语,78需求:查询每科成绩的排名分析:rank():分数相同,不去掉数据(并排,假设有2、3分数相同,都排第二名,下面一个就是第四名,没有第三...原创 2019-07-29 15:44:18 · 343 阅读 · 0 评论 -
Hive窗口函数 over()
有以下数据:Jack,2017-01-01,10Tony,2017-01-02,15Jack,2017-02-03,23Tony,2017-01-04,29Jack,2017-01-05,46Jack,2017-04-06,42Tony,2017-01-07,50Jack,2017-01-08,55Mark,2017-04-08,62Mart,2017-04-09,68M...原创 2019-07-29 14:42:42 · 772 阅读 · 0 评论 -
Hive列转行 (Lateral View + explode)
需求:《疑犯》 悬疑,动作,科幻,爱情《lie to me》 悬疑,警匪,动作,心理,剧情《战狼》 战争,动作,灾难转成如下格式:《疑犯》 悬疑《疑犯》 动作《疑犯》 科幻《疑犯》 爱情《lie to me》 悬疑《lie to me》 警匪《li...原创 2019-07-29 09:40:31 · 357 阅读 · 0 评论 -
Hive行转列
需求:孙悟空白羊座A 沙悟净射手座A白羊座,A 孙悟空|猪八戒宋松松白羊座B=======白羊座,B 宋松松猪八戒白羊座A...原创 2019-07-28 23:05:13 · 1101 阅读 · 0 评论 -
Hive
是什么、为什么、Hive简介:非java编程者对hdfs的数据做MR操作将SQL转换为MR数据仓库:不是数据库(MySQL);数据库:支持数据系统,MR任务很久,对用户来说不可接受。HQL最终转换成MR时间很慢数据仓库:对历史数据进行数据分析数据库:支持业务系统交互式访问Hive运行时,与那数据存储在关系型数据库里面...原创 2019-06-03 08:13:30 · 144 阅读 · 0 评论 -
Programming Hive ( Hive编程指南) 三
Chapter5 HiveQL:数据操作5.1 向管理表中装载数据使用第四章的employees表:[root@master chapter5]# cat 4.create_employees.sql create table employees ( name string, salary float, subordinat...原创 2019-05-29 19:39:55 · 241 阅读 · 0 评论 -
Programming Hive ( Hive编程指南) 六
123原创 2019-06-01 13:27:19 · 210 阅读 · 0 评论 -
Programming Hive ( Hive编程指南) 二
4.4.1 外部分区表创建分区表:create external table if not exists Chapter4..4log_messages ( hms int, severity string, server string, process_id int, message string )part...原创 2019-05-29 09:37:24 · 259 阅读 · 0 评论 -
Programming Hive ( Hive编程指南) 五
6.8 类型转换cast函数:STRING如何转FLOAT--先将salary转换为float类型,然后再比较大小 --cast(value as type) 如果 value不合法,Hive返回NULLselect name,salary from employeeswhere cast(salary as float) < 100000.0; -...原创 2019-05-31 09:46:44 · 273 阅读 · 0 评论 -
Programming Hive ( Hive编程指南)
一、Hive中“一次使用的命令”1. -S表示静默模式,结果去掉OK和Time taken等行hive -e "select * from movie_table limit 3"...OKmovieId title genres1 Toy Story (1995) Adventure|Animation|Children|Comedy|Fantas...原创 2019-05-27 19:54:17 · 595 阅读 · 0 评论 -
Programming Hive ( Hive编程指南) 四
Chapter 6 HiveQL:查询--[root@master chapter5]# cat 4.create_employees.sql create table employees ( name string, salary float, subordinates Array<string>, ...原创 2019-05-30 13:06:11 · 262 阅读 · 0 评论 -
Hive实战下
实践一:Bucket数据集:create_rating_table_b.sql(创建bucket)create external table rating_table_b(userId INT,movieId STRING,rating STRING)clustered by (userId) into 32 buckets;创建userid movieid, ratin...原创 2019-05-26 16:52:00 · 413 阅读 · 0 评论 -
sql 语句NVL()用法
NVL函数是一个空值转换函数NVL(表达式1,表达式2)如果表达式1为空值,NVL返回值为表达式2的值,否则返回表达式1的值。 该函数的目的是把一个空值(null)转换成一个实际的值。其表达式的值可以是数字型、字符型和日期型。但是表达式1和表达式2的数据类型必须为同一个类型。对数字型: NVL(count(camera_id), 0) 如果count(camera_id)为...转载 2019-07-28 17:53:25 · 2055 阅读 · 0 评论