使用 hadoop组件 作为 ETL 或 ELT 工具

最新推荐文章于 2024-09-18 11:25:17 发布
最新推荐文章于 2024-09-18 11:25:17 发布
阅读量3.3k 收藏 4
点赞数
分类专栏： Impala ETL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oufuji/article/details/50326299
版权
本文介绍了使用Hadoop组件，特别是Impala，作为ETL或ELT工具的方法。建议在Impala中直接创建和查询表，避免在Hive和Impala之间切换。当有多个用户时，可以通过刷新元数据来处理。主要流程包括向HDFS上传压缩文件，设置文件的可读权限，然后通过Impala进行数据分析和处理。
摘要由CSDN通过智能技术生成
看了IBM上的一个帖子：


http://www.ibm.com/developerworks/cn/data/library/bd-hivetool/
使用 Hive 作为 ETL 或 ELT 工具


觉得，数据量很大的情况下，确实可以使用hadoop的组件来做ETL，hdfs存储全部的原始数据，需要的时候通过Hive，sparkSQL或者Impala查询。
前提就是先建议Hive外部表的metastore，然后供sparkSQL和Impala访问。


hive metastore的架构关系（metastore三种部署方式，CDH5里面按照Remote模式）



大致明白过程了，开工：


1、Hive的安装




2、测试Hive建外部表（txt,csv,bz2,gz各种格式）
最低0.47元/天 解锁文章
Hadoop 用于 ETL
扛麻袋的少年的博客
04-20 1498
十九、Hadoop 用于 ETL
ETL工具Sqoop使用-数据共享与整合技术
T.machine的博客
11-18 4390
ETL工具Sqoop使用实验 实验目的： 掌握ETL工具Sqoop的使用 掌握MySQL和HDFS之间的数据转换 实验要求： 掌握ETL工具Sqoop的使用 能够正常操作数据库、表、数据 实验环境： 一台独立PC或虚拟机 每台主机内存2G以上，磁盘剩余空间500M以上 已安装CentOS 7.4操作系统 已安装JDK 已完成Hadoop平台的搭建 已完成Mysql数据库平台...
可用于Hadoop下的ETL工具——Kettle
weixin_34290390的博客
07-03 517
看大家分享了好多hadoop相关的一些内容，我为大家介绍一款ETL工具——Kettle。    Kettle是pentaho公司开源的一款ETL工具，跟hadoop一样，也是java实现，其目的就是做数据整合中时数据的抽取（Extract）、转换（Transformat）、加载（Load）工作。Kettle中有两种脚本文件，transformation和job，transformation完成针对...
六种主流ETL工具的比较与Kettle的实践练习指南--MySQL、hive、hdfs等之间的数据迁移
最新发布
天冬忘忧的博客
09-18 3743
ETL工具在数据集成和数据仓库建设中至关重要。本文比较了六种主流ETL工具并重点介绍了Kettle，一款开源且功能强大的ETL工具，适合不同规模的数据集成任务。文章提供了Kettle的实践指南，帮助读者更好地理解和应用Kettle。
Hadoop目前只是“穷人的ETL”
技术博客
11-02 2875
虽然企业部署Hadoop大数据系统的最终目的是进行“性感”的分析应用，但是大多数企业距离这一目标还很远很远。 根据IDC发布的Hadoop-MapReduce软件生态系统预测报告，Hadoop市场正在以60%的年复合增长率高速扩张。但是该报告也揭示了一个让人吃惊的事实，作为大数据分析应用的代名词，Hadoop的流行其实与数据分析无关。实际上大多数采用Hadoop的公司都没有将Hadoop用于大数
hadoop etl
dengbenji的专栏
11-27 171
[b]Kettle[/b] https://github.com/webdetails/kettle-trunk
hadoop之简单ETL
蒯厅博客
11-01 391
输入数据： 194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /wp-content/uploads/2013/07/rstudio-git3.png HTTP/1.1" 304 0 "-" "Mozilla/4.0 (compatible;)" 183.49.46.228 - - [18/Sep/2013:06:49:23 +0000] "-" 400 0 "-" "-" 163.177.71.12 - - [18/Sep/2013:06:49:33
ETL+hadoop采集
05-27
ETL采集hadoop数据，ETL采集hadoop数据，ETL采集hadoop数据，ETL采集hadoop数据，ETL采集hadoop数据，ETL采集hadoop数据，ETL采集hadoop数据，ETL采集hadoop数据，
基于Hadoop的ETL处理Shell架构
04-13
基于Hadoop的ETL大数据处理流程，配置方便，完全Shell编程实现，支持Bash Shell环境的Linux系统。
Talend Open Studio for Big Data:通过免费的开源 ETL 和 ELT 软件开始使用 Hadoop 和 NoSQL。-开源
05-30
开始使用 Hadoop 和 NoSQL 以及免费的开源 ETL 和 ELT 软件，在任何地方进行大数据集成和转换。 只需拖放和配置预构建的组件，生成本机代码，然后部署到 Hadoop，即可轻松地将 EDW 卸载和摄取、加载和卸载数据到本地...
getl：使用ETL和ELT流程轻松开发项目的框架，该框架可用于Micro Focus Vertica平台上的数据源和数据仓库
02-28
盖特 关于 Groovy ETL（Getl）-Groovy上的开源项目，自2012年以来开发，可... IBM DB2，FireBird，H2数据库，Hadoop Hive，Cloudera Impala，MS SQLServer，MySql，IBM Netezza，NetSuite，Oracle，PostgreSql，Micro
基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版BS架构工具.zip
03-13
【标题】中的“基于Web版Kettle开发的一套分布式综合调度、管理、ETL开发的用户专业版BS架构工具”指的是使用Kettle（Pentaho Data Integration）进行ETL（提取、转换、加载）过程，并且是Web化的版本，便于在浏览器...
elt学习资料
11-14
ETL（Extract, Transform, Load）是数据..."eltѧϰ"和"etl学习"两个文件名可能代表了具体的教程、案例或练习，可以作为你深入学习ETL的实用资源。记得结合理论与实践，不断探索和提升，你将在ETL领域取得长足的进步。
基于Hadoop生态圈的数据仓库实践 —— ETL（三）
热门推荐
wzy0623的专栏
07-11 1万+
三、使用Oozie定期自动执行ETL1. Oozie简介（1）Oozie是什么        Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统，其工作流作业是由一系列动作构成的有向无环图（DAGs），协调器作业是按时间频率周期性触发的Oozie工作流作业。Oozie支持的作业类型有Java map-reduce、Streaming map-reduce、Pig、 Hive
数据清洗
翁老师的教学团队
04-14 877
数据清洗 》》1：什么是ETL ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据 在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。 清理的过程往往只需要运行Mapper程序，不需要运行Red
hadoop ETL 小案例demo
潇洒人生的博客
04-02 774
hadoop etl 小案例测试
Hadoop（18）：MapReduce框架原理之数据清洗（ETL）
yang_shibiao的博客
05-03 2520
目录 0. 相关文章链接 1. 数据清洗（ETL）概述 2. 需求 3. 需求分析 4. 实现代码 0. 相关文章链接 Hadoop 文章汇总 1. 数据清洗（ETL）概述 “ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 在运行核心业务MapReduce程序之前，往往要先对...
Hadoop案例：数据清洗（ETL）
小M呀~之大数据系列
12-08 4628
目录 1.概述 2.需求 ​3.代码实现 3.1编写WebLogMapper类 3.2编写WebLogDriver类 1.概述 “ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取 （Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL 一词较常用在数据仓 库，但其对象并不限于数据仓库 在运行核心业务 MapReduce 程序之前，往往要先对数据进行清洗，清理掉不符合用户 要求的数据。...
基于Hadoop的ETL处理Shell架构5
04-14
基于Hadoop的ETL大数据处理流程，配置方便，完全Shell编程实现，支持Bash Shell环境的Linux系统。
hadoop组件
qq_33430322的博客
12-01 272
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值