eyexin2018的博客

2、 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；2，计算：借助mapreduce计算框架对原始数据进行转换，生成的数据以分区表形式。3、 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；5、 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。1，上传：通过Hadoop先将原始数据同步到HDFS上；4、 将明细数据进行复杂的统计分析，得到结果报表信息；1、 通过Hadoop先将原始数据同步到HDFS上；...

1.修改表名2.修改列名或则3.增加列4.替换，就是把原本的列都删除掉，替换成所写的新列。

从普通表将数据插入到分桶表(

---------------数据导入导出------------------------------ 创建表： CREATE TABLE IF NOT EXISTS userses( name string, sex string ) row format delimited fields terminated by'\t'; CREATE TABLE IF NOT EXISTS user_tmp( name string, sex string ) partitioned by(age int) ro

join优化 set hive.optimize.skewjoin=true;如果join过程出现数据倾斜，就设置为true set hive.skewjoin.key=100000;这个是join的key对应的记录条目数超过这个值的时候会进行优化 map端join： set hive.auto.covert.join=true; hive.mapjoin.smalltable.filesize 默认是25m **map端join使用场景：** （1）关联操作中有一个表非常小 （2）不等值的链接操作 b

transform Hive 的 TRANSFORM 关键字提供了在 SQL 中调用自写脚本的功能。适合实现 Hive 中没有的 功能又不想写 UDF 的情况，脚本一般都是python写的。 二、案例操作 1.数据文件内容 vi transform.txt steven:100;steven:90;steven:99^567^22 ray:90;ray:98^456^30 Tom:81^222^33 2.清洗后到数据库的数据格式如下: steven 100 567 22 steven

hive分桶

动静态分区

hive数据分析