记HIVE一个问题

最新推荐文章于 2022-04-18 12:59:13 发布
最新推荐文章于 2022-04-18 12:59:13 发布
阅读量143 收藏 1
点赞数
分类专栏： Hive 文章标签： hive hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41772761/article/details/120666018
版权

原来是用来sqoop将mysql数据导入hdfs lzo压缩保存，再将数据解压缩保存至ods层
ods层创外部分区表语句存储如下：

STORED AS
        INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
        OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

指定存储方式，读数据采用LzoTextInputFormat；输出数据采用TextOutputFormat
后来由于需要补数据发现，无法从其他表往此表导入此格式数据

肉装法师
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2021-08-01
m0_57124899的博客
08-01 564
@TOC离线数仓 1.DBeaver工具的使用 2.向ods层导入数据 2.1创建启动日志表ods_start_log hive (gmall)> drop table if exists ods_start_log; CREATE EXTERNAL TABLE ods_start_log (`line` string) PARTITIONED BY (`dt` string) STORED AS INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoT
INPUTFORMAT和OUTPUTFORMAT是什么
xie670705986的博客
02-01 899
HIVE建表语句中有时会指定inputformat和outputformat，有时又没有。 其实即使我们建表时没有指定，在下一层系统也会给我们指定默认的inputformat和outputformat。 那这两个究竟是什么呢？ drop table if exists ods_log; CREATE EXTERNAL TABLE ods_log (line string) PARTITIONED BY (dt string) – 按照时间创建分区 STORED AS – 指定存储方式，读数据采用LzoTex
Hive数仓建表该选用ORC还是Parquet，压缩选LZO还是Snappy？
qq_32445015的博客
03-29 1652
因为上一篇文章中提到我在数仓的ods层因为使用的是 STORED AS INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'存储模式，但是遇到了count(*) 统计结果与select * 不一样的情况，所以我不得不开始详细了解一下文件的存储格式（虽然还解决不了那个问题，但至少在接近问题真相的路
Hadoop2.2.0+hive使用LZO压缩那些事
张兆坤
12-27 1万+
废话不多说，我在apache Hadoop2.2.0测试集群上配置支持使用LZO进行压缩的时候，遇到很多坑，不过最后到搞定了，这里把具体过程记录下来，以供参考。 环境： Centos6.4 64位 Hadoop2.2.0 Sun JDK1.7.0_45 hive-0.12.0 准备工作： yum -y install  lzo-devel  zlib-devel  gcc aut
hadoop支持lzo完整过程
m0_54850825的博客
04-18 626
简介 部署 安装lzop native library 安装hadoop-lzo 配置hadoop环境变量 验证lzo通过hive测试 创建lzo表 导入数据 索引LZO文件 利用hive执行mr任务 修改使用中hive表的输入输出格式 简介 启用lzo 启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。 安装lzo lzo并不是linux系统原生支持，所以需要下载安装软件包。这里至少需要安装3个软件包：lzo, l.
ODS层加载数据脚本
weixin_45751589的博客
12-11 491
导入数据： load data inpath '/origin_data/gmall/log/topic_event/2019-12-10' into table gmall.ods_event_log partition(dt='2019-12-10'); hive中建表语句： 创建输入数据是lzo输出是text，支持json解析的分区表 drop table if exists ods...
hive中应用lzo
mrking0105的专栏
05-18 170
在建表的时候，进行两个设置： STORED AS INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat" OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat" 然后，基本上就是透明操作hive了。 http://bl...
Hive学习记录
09-15
Hive学习记录，一些关于hive分桶、分区的知识。有需要自己下载。
hive学习记录
05-16
Hive 是一种基于 Hadoop 的数据仓库工具，用于处理和管理大数据。它提供了 SQL 类似的查询语言——HQL (Hive Query Language)，使得非程序员也能轻松进行大数据分析。以下是对Hive的一些关键知识点的详细说明： 1. ...
Hive常用参数配置详细记录
09-21
Hive常用参数配置详细记录，总结的知识希望能够帮到有需要的人。
hive影评案例.zip
04-01
标题中的“hive影评案例.zip”表明这是一个关于使用Hive处理电影评论数据的示例。Hive是基于Hadoop的数据仓库工具，它允许用户通过SQL（HQL，Hive SQL）查询分布式存储的大数据集。这个压缩包可能包含了用于分析用户...
大数据 hive 实战数据
04-07
在大数据处理领域，Hive是一个极其重要的工具，它被广泛应用于大数据分析和数据仓库操作。本实战数据集主要涉及两个核心部分：`video`数据和`user`数据，这些都是构建大数据分析模型的基础元素。让我们深入探讨一下...
数仓相关
weixin_42796403的博客
01-04 433
数仓小思考 1.为什么使用关系型存储用户业务数据 RDMS(关系型数据库)是基于OLTP(online transaction process在线事务处理)设计，重事务和在线处理 2.用户行为数据和用户业务数据的区别 用户行为数据侧重于记录事件，用户业务数据侧重记录完整的事实 3.为什么采用json存储用户行为数据 用户行为数据低价值密度，记录周期长，结构复杂 json格式比xml少了标志类信息，占用空间小。比csv等文本文件多了结构信息，方便管理。 4.为什么采用sqoop采集业务数据
Presto：Unable to create input format com.hadoop.mapred.DeprecatedLzoTextInputFormat错误解析
qq_32656561的博客
06-05 2796
我的hive中的ods层表是这样存储的： drop table if exists ods_ipqc_online_tmp; create external table ods_ipqc_online_tmp ( `MACH_ID` string COMMENT '机台id', `MACH_IP` decimal(16, 2) COMMENT '机台ip', `IPQC_ONLINEID` string COMMENT 'IPQC在线ID', `CRE
Hadoop-2.2.0使用lzo压缩文件作为输入文件
weixin_34417200的博客
04-22 173
2019独角兽企业重金招聘Python工程师标准>>> ...
【总结】各种数据格式的Hive建表语句
weixin_34336526的博客
05-22 280
Xml格式CREATE EXTERNAL TABLE Gateway_pmsarisoap(BookingSoapLogID STRING,GuidNo STRING,SoapType STRING,SoapContent STRING,InsertDate STRING,SourceOpsType STRING)PARTITIONED BY ( `dt` st...
hive 压缩全解读(hive表存储格式以及外部表直接加载压缩格式数据)；HADOOP存储数据压缩方案对比（LZO,gz，ORC）
热门推荐
longshenlmj的专栏
01-20 2万+
数据做压缩和解压缩总会增加CPU的开销，但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销 最好对那些I/O密集型的作业使用数据压缩 hive表的存储格式为     TEXTFILE     SEQUENCEFILE（三种压缩选择：NONE, RECORD, BLOCK。 Record压缩率低，一般建议使用BLOCK压缩）     RCFILE     自定义格式
hadoop lzo配置
10-10 528
一、准备工作(only一个节点即可,not all) 1、maven准备 2、安装lzo wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz tar -zxvf lzo-2.06.tar.gz -C ../ cd lzo-2.06 mkdir -p /usr/local/lzo206 ./con
记Hive中date_format(create_time,‘yyyy-MM-dd‘)问题
LZX的博客
11-04 8789
尝试使用date_format(create_time,‘yyyy-MM-dd’)在mysql中查出结果导致create_time被格式化成字符串’yyyy-MM-dd’但是在hive中查询没有问题，而date_format(create_time,’%Y-%m-%d’)在mysql中查询没有问题，在hive会报错。 Hive中查询 select * from test where date_format(create_time,'yyyy-MM-dd') = '2020-11-04' ; Mysql查询
hive 统计如果同一个用户有两条记录
最新发布
06-09
以下是一个示例查询： ``` SELECT user_id, COUNT(*) as num_records FROM your_table GROUP BY user_id HAVING num_records >= 2; ``` 在上述查询中，您需要将“your_table”替换为您实际使用的表名。同时，您也...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值