数据库
晴天_小雨
不受年龄和专业的限制,用心做一个日益崛起的程序猿,因为热爱,所以坚持!
展开
-
Hive静态分区和动态分区
Hive分区的作用如果没有分区的存在,那么每次查询Hive将会进行全表扫描。对于小数据量的表来说,全表扫描并不会慢到无法忍受,但是对于大数据量来讲,比如几年的数据,每次查询都要扫描几年的所有数据,除了浪费时间之外,还浪费集群资源。为了改进这一问题,分区的价值就体现出来了。对于几年的数据,在设计Hive表的时候,可以将时间设计为分区字段,至于时间维度细到怎样的颗粒度,以业务需求为准。就这样,分区的...原创 2020-04-10 23:11:59 · 419 阅读 · 0 评论 -
Hive文件格式及数据导入导出
Hive文件格式TEXTFILE默认格式,数据不进行任何压缩存储方式:行存储磁盘开销大,数据解析开销大Hive不会对其进行切分,无法对数据进行并行操作SEQUENCEFILE二进制文件,以<key,value>形式序列化到文件中存储方式:行存储可分割、可压缩。支持三种压缩方式:NONE,RECORD,BLOCK。Record压缩率低,一般选择block压...原创 2020-04-09 23:58:33 · 1397 阅读 · 0 评论 -
Hive数据库和表操作
在进行数据库或者表操作时,需要注意以下事项- 注意基本语法中()表示必须参数,[]表示可选参数- 各种语法中,若执行失败,除了检查语法正确与否之外,还需注意版本是否支持- 在进行删除、清空等操作时,需要考虑一旦操作失误造成的影响- 数据库命令规则:ods/dws/等- 表格命名规则:库名_主题域_主题_主体_后缀,如dws_trade_user_refund_y数据库操作数据库创...原创 2020-04-08 10:11:21 · 247 阅读 · 0 评论 -
Hive数据类型
Hive简介基于Hadoop的数据仓库,并以Hadoop中的HDFS为数据存储,由YARN集群进行资源调度将结构化的数据映射为一张数据库表,并提供HQL查询功能适合大数据量的离线处理Hive数据类型数字类类型长度备注TINYINT1字节有符号整数,从-128到127SMALLINT2字节有符号整数,从-32768到32767INT/INT...原创 2020-04-07 00:28:05 · 153 阅读 · 0 评论