![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
[1]Hive
hjw199089
从事大数据
(1)查询引擎开发-presto深度开发-hive开发-自研查询引擎开发
(2)大数据用户行为分析
(3)spark、sparkstreaming、storm、druid开发应用经验
(4)数据仓库开发
展开
-
Hive 中的复合数据结构
原文:http://my.oschina.net/leejun2005/blog/120463原作者:xrzs学习,谢谢目前 hive 支持的复合数据类型有以下几种:map(key1, value1, key2, value2, ...) Creates a map with the given key/value pairsstruct (val1, val转载 2016-07-18 13:48:04 · 762 阅读 · 0 评论 -
直接将文件put到Hdfs后建Hive表查询数据
直接将文件put到Hdfs后建Hive表查询数据由于业务需要,有时需要将本地外HDFS中其他地方的文件数据建表,然后处理查询统计。这里演示将本地文件先put到Hive中建立的空表中,然后查询数据1-先建立一个空表CREATE TABLE `hive_test.direct_load_file_into_table`( `id` int, `name` string)P...原创 2018-04-12 20:58:36 · 8411 阅读 · 0 评论 -
CUBE Keyword in Apache Hive
FromCUBE Keyword in Apache HiveEnhanced Aggregation, Cube, Grouping and RollupCUBE Keyword in Apache HiveBy Rajat VenkateshPublished June 19, 2015 Updated July 13th, 2018IntroductionAs par...转载 2018-10-28 14:27:16 · 212 阅读 · 0 评论 -
[1] Hive3.x 安装与debug
1 下载安装hive3.1.1下载地址修改hive-env.sh如:HADOOP_HOME=/Users/xxx/software/hadoop/hadoop-2.7.4export HIVE_CONF_DIR=/Users/xxx/software/hive/confexport HIVE_AUX_JARS_PATH=/Users/xxx//software/hive/lib建立...原创 2018-11-29 20:49:03 · 1332 阅读 · 0 评论 -
[2] Hive3.x 查询流程源码-Cli端-01
Hive架构简图Hive架构简图 hive原理与源码分析-hive源码架构与理论Hive3.x安装准备工作详细参见:Hive3.x 安装与debug1 Hive命令行提交查询SELECT deptno, count(deptname) as deptno_cnt from hive3_test.depts group by deptno;2 CliDriver接收查询public ...原创 2018-11-29 20:55:47 · 709 阅读 · 0 评论 -
[3] Hive3.x Materialized view
Hive Materialized viewsLLAPObjectives一般来说,查询加速的最有效方法即关系聚合预计算(pre-computation of relevant summaries)物化视图(materialized views)Hive3.0开始尝试引入物化视图,并提供对于物化视图的查询自动重写(基于Apache Calcite实现);值得注意的是,3.0中提...翻译 2018-12-02 15:51:07 · 2476 阅读 · 0 评论 -
[4] Hive3.x SemanticAnalyzer and CalcitePlanner 物化视图相关源码-01
SemanticAnalyzervoid analyzeInternal(ASTNode ast, PlannerContextFactory pcf) { .... // 1. Generate Resolved Parse tree from syntax tree boolean needsTransform = needsTransform(); ...原创 2018-12-04 21:37:52 · 584 阅读 · 0 评论 -
[5] Hive3.x Query Results Caching
Hive Query Results Caching DesignDocsQuery Results CachingHive Query Results Caching related setting parameters<property> <name>hive.query.results.cache.enabled</name> &...原创 2018-12-08 12:18:06 · 574 阅读 · 0 评论 -
[6] Hive3.x SemanticAnalyzer and CalcitePlanner 物化视图相关源码-02
接Hive3.x SemanticAnalyzer and CalcitePlanner 物化视图相关源码SemanticAnalyzervoid analyzeInternal(ASTNode ast, PlannerContextFactory pcf) { .... // 1. Generate Resolved Parse tree from syntax tree...原创 2018-12-08 15:40:44 · 702 阅读 · 0 评论 -
Hive和sparksql中的dayofweek
dayofweek在hive2.2.0开始支持 低版本的sparksql和hive中可用以下方式实现 select 7- datediff(next_day('2018-03-12',"Sunday"),'2018-03-12'). select date_format('2018-03-12' ,'u'). select date_format(from_unixtime(...原创 2018-03-12 14:26:09 · 6018 阅读 · 0 评论 -
Hive分区表新增字段+重刷历史方法(避免旧分区新增字段为NULL)
1-1.建立测试表hive> CREATE EXTERNAL TABLE table_for_test_add_column( > original_column string COMMENT '原始数据' > ) > COMMENT 'add_column的测试表' > PARTITIONED BY ( ...原创 2018-01-14 14:46:36 · 17252 阅读 · 5 评论 -
Mac-单机Hive安装与测试
hive文档:hive 说明wiki参考:http://blog.csdn.net/isoleo/article/details/78401103https://www.cnblogs.com/kinginme/p/7233315.html前提本机已经安装单机hadoop和mysqlmysql安装:Mac安装Mysql_解决中文乱码_JDBC访问操作hadoop安装:hadoop单...原创 2017-12-19 23:52:41 · 3998 阅读 · 0 评论 -
hive-随机取样
转自http://daizj.iteye.com/blog/2273426http://lxw1234.com/archives/2015/08/444.htm0-Random sampling 使用RAND()函数和LIMIT关键字来获取样例数据。使用DISTRIBUTE和SORT关键字来保证数据是随机分散到mapper和reducer的。O转载 2016-12-06 20:02:14 · 15452 阅读 · 0 评论 -
hive中UDTF编写和使用(转)
转自:转载学习于此处,感谢作者的分享1. UDTF介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。2. 编写自己需要的UDTF继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现init转载 2017-03-19 23:34:44 · 1583 阅读 · 0 评论 -
hive调优
hive大数据倾斜总结:点击链接Hive的map和reduce数调整:原文链接https://yq.aliyun.com/articles/59635一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过s...转载 2017-08-01 15:29:50 · 855 阅读 · 0 评论 -
Windowing Functions In Hive
感谢分享原文:https://acadgild.com/blog/windowing-functions-in-hive/ Windowing allows you to create a window on a set of data further allowing aggregation surrounding that data. Windowing in Hive is i转载 2017-12-14 16:42:20 · 364 阅读 · 0 评论 -
TiDB
转载自:TiDB:世界级开源 NewSQL 分布式关系型数据库数据库技术发展演进在 08 年以前基本上是以单机型数据库为主,比如大家耳熟能详的 Oracle,MySQL,遇到的比如大数据存储、高并发等问题。于是,以 Google 为代表的一些互联网公司开始转向 NoSQL 这种分布式的数据库,这是一个牺牲掉关系的模型去追求可扩展性的方向,那我们有没有办法把单机型的 SQL转载 2017-12-05 13:56:01 · 2046 阅读 · 0 评论 -
Hive-shell脚本形式执行HSQL
Hive-脚本形式提交hive查询接上文Mac-单机Hive安装与测试,文中最后将本地文件load到了hive 表中,下面对该表清洗,以shell脚本形式提交,清洗所用的HSQL脚本。建立目标表例如要清洗出的字段如下表use hive_test;CREATE EXTERNAL TABLE fact_XXX_log( time_stamp string COMMEN原创 2018-01-04 20:51:50 · 2612 阅读 · 0 评论 -
Hive删表或删除分区HDFS中文件未删除时的查询异常
Hive删表或删除分区HDFS中文件未删除时的查询异常语句1-1.Drop tableDROP TABLE [IF EXISTS] table_name;1-2.删除分区ALTER TABLE table_name DROP [IF EXISTS] PARTITION partition_spec, PARTITION partition_spec,...;发现原创 2018-01-14 15:03:24 · 8404 阅读 · 0 评论 -
Hive中desc和show create table中文注释乱码解决方案
Hive中desc和show create table中文注释乱码解决方案1.修改hive-site.xmlproperty> name>javax.jdo.option.ConnectionURLname> value>jdbc:mysql://你的IP:3306/hive?createDatabaseIfNotExsit=true&charact原创 2018-01-12 21:43:46 · 8584 阅读 · 1 评论 -
Hive Create table as select
Create/Drop/Truncate Table排查问题触发了一个Create table as 的spark bug,no 爽create table xxx as selectcreate table table1 as select * from table2 where 2=3;创建一个表结构与table2表相同的table1,只复制结构不复制数据create table...原创 2018-12-21 17:12:16 · 27360 阅读 · 2 评论