涂作权的博客

成功就是将个人潜能发挥到极限!&&以大多数人的努力程度之低,根本还轮不到拼天赋!...

排序:
默认
按更新时间
按访问量
RSS订阅

hive表,hive视图,spark处理数据入mysql,shell获取url数据下载json,Spark sql处理json,shell脚本执行kylin,azkaban任务调度

1 Spark获取json数据,并将json数据存hive库 hive表建立Demo --如果存在hive表,直接删除这个hive表。 drop table if EXISTS tb_trade_info; --创建hive表(第一次全量,后续增量) CREATE TABLE IF NO...

2019-03-19 09:32:29

阅读数 3211

评论数 6

hive按照某个字段分组,然后获取每个分组中最新的n条数据

hive -e “use db; select t.advertId,t.exposureNum from (select advertId,exposureNum,ROW_NUMBER() OVER(PARTITION BY advertId ORDER BY addTime desc) AS ...

2018-12-19 16:37:14

阅读数 7222

评论数 0

Hive 整合Hbase(来自学习资料--博学谷)

1、摘要 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景 2.1 将ETL操作的数据存入HBase 2.2 HBase作为H...

2018-08-08 12:58:36

阅读数 565

评论数 0

Hive数据类型(转:https://blog.csdn.net/xiaoqi0531/article/details/54667393)

Hive数据类型 本文参考Apache官网,更多内容请参考:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types 1. 数值型 1. Integral Types (TINYINT, SMALLIN...

2018-05-24 17:46:07

阅读数 117

评论数 0

Hive内置运算函数,自定义函数(UDF)和Transform

4.Hive函数4.1 内置运算符内容较多,见《Hive官方文档》 4.2 内置函数内容较多,见《Hive官方文档》https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 测试各种内置函数的快捷方法:1、创建一个dua...

2017-06-13 16:27:24

阅读数 1092

评论数 0

Hive常用运算(关系运算)、逻辑运算与数学运算、数值运算、日期函数、条件函数、字符串函数

hive 常用运算第一部分:关系运算Hive支持的关系运算符•常见的关系运算符•等值比较: =•不等值比较: •小于比较: •小于等于比较: •大于比较: >•大于等于比较: >=•空值判断: IS NULL•非空判断: IS NOT NULL•LIKE比较: LIKE•JAVA的LI...

2017-06-11 17:00:19

阅读数 709

评论数 0

Hive基本操作,DDL操作(创建表,修改表,显示命令),DML操作(Load Insert Select),Hive Join,Hive Shell参数(内置运算符、内置函数)等

1.  Hive基本操作1.1  DDL操作1.1.1    创建表建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name    [(col_name data_type[COMMENT col_comment], ...)] +   [COM...

2017-06-11 16:12:01

阅读数 864

评论数 0

Hive分区、分桶操作及其比较(转自:http://blog.csdn.net/epitomizelu/article/details/41911657)

1,Hive分区。     是指按照数据表的某列或某些列分为多个区,区从形式上可以理解为文件夹,比如我们要收集某个大型网站的日志数据,一个网站每天的日志数据存在同一张表上,由于每天会生成大量的日志,导致数据表的内容巨大,在查询时进行全表扫描耗费的资源非常多。那其实这个情况下,我们可以按照日期对数据...

2017-06-11 14:46:20

阅读数 364

评论数 0

函数分类,HIVE CLI命令,简单函数,聚合函数,集合函数,特殊函数(窗口函数,分析函数,混合函数,UDTF),常用函数Demo

1.1. 函数分类1.2. HIVE CLI命令显示当前会话有多少函数可用 SHOW FUNCTIONS;显示函数的描述信息 DESC FUNCTION concat;显示函数的扩展描述信息 DESC FUNCTION EXTENDED concat;1.3. 简单函数函数的计算粒度为单条记录。 ...

2017-06-11 13:40:53

阅读数 587

评论数 0

HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令

1.上传tar包这里我上传的是apache-hive-1.2.1-bin.tar.gz2.解压        mkdir -p /home/tuzq/software/hive/ tar -zxvf apache-hive-1.2.1-bin.tar.gz  -C /home/tuzq/softw...

2017-06-10 22:11:45

阅读数 4185

评论数 0

Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储(来自学习资料)

1.1 Hive简介1.1.1   什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。1.1.2   为什么使用HiveØ  直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂...

2017-06-10 19:28:59

阅读数 3381

评论数 0

提示
确定要删除当前文章?
取消 删除