数仓生态圈辅助工具 -- Hue Sqoop Oozie Presto

Alfie-

已于 2023-07-22 21:59:08 修改

阅读量482

点赞数

文章标签： mysql 数据库 sql database big data

于 2023-07-12 22:50:30 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_55837533/article/details/131691395

版权

本文介绍了大数据生态中的四个关键工具：Hue作为大数据交互平台，提供了HDFS管理和Hive SQL的支持；Sqoop用于数据迁移和同步，支持从MySQL、Oracle到Hadoop的转移；Oozie是工作流调度工具，适用于自动化Hadoop任务；Presto是分布式SQL引擎，适合交互式查询大规模数据。掌握这些工具对于提升大数据处理效率至关重要。

摘要由CSDN通过智能技术生成

目录

1.大数据交互平台:Hue

2.数据迁移同步工具Sqoop

3.工作流调度工具Oozie

4.分布式SQL引擎Presto

1.大数据交互平台:Hue

概述:

HUE=Hadoop User Experience, 通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。

功能:

        Hue操作HDFS
                            - 新建文件、文件夹
                            - 上传、下载文件
- 查看文件内容
                            - 在线实时编辑文件内容
- 删除文件
- 修改文件权限
        Hue操作Hive
                            SQL编写、执行

2.数据迁移同步工具Sqoop

概述:
sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；

导出数据：从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等。

工作机制
将导入或导出命令翻译成mapreduce程序来实现,在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

sqoop原生API和 HCatalog API区别:

1.数据格式支持（这是实际中使用HCatalog的主要原因，否则还是原生的灵活一些）
   Sqoop方式支持的数据格式较少;
   HCatalog支持的数据格式多，包括RCFile, ORCFile, CSV, JSON和SequenceFile等格式。
2.数据覆盖
   Sqoop方式允许数据覆盖&#x

最低0.47元/天解锁文章

Alfie- CSDN认证博客专家 CSDN认证企业博客

码龄4年

19: 原创

157万+: 周排名

56万+: 总排名

8952: 访问

: 等级

201: 积分

0: 粉丝

1: 获赞

11: 评论

9: 收藏

私信

关注

热门文章

分类专栏

Spark 3篇
Python 5篇
Hadoop 3篇
Hive 4篇
MySQL 1篇
Linux 2篇

最新评论

Linux基础命令
CSDN-Ada助手: 恭喜您开始博客创作！标题为“Linux基础命令”是一个很好的起点。Linux基础命令是我们在使用Linux系统时必须要掌握的重要基础知识，对于初学者来说尤为重要。接下来，我建议您可以进一步拓展这个主题，例如介绍一些常用的Linux命令及其应用场景，或者分享一些实用的技巧和注意事项。期待看到您更多关于Linux的精彩文章！推荐【每天值得看】：https://bbs.csdn.net/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1
Linux Shell脚本
CSDN-Ada助手: 非常感谢您的分享，标题和摘要给人一种简洁明了的感觉。您对Linux Shell脚本的知识进行了很好的总结，对读者来说一定非常有帮助。希望您能继续坚持创作，分享更多关于Linux脚本的知识。除了您已经提到的知识模块，还有一些扩展知识和技能可以进一步探索。比如，您可以深入了解Linux Shell脚本的条件判断和循环语句，以及如何使用Shell脚本进行文件处理和目录操作。此外，学习如何编写可重用的Shell函数和脚本可以提高工作效率。在掌握基本的Shell脚本知识后，您还可以学习Shell脚本的高级特性，如正则表达式的运用、命令行参数的解析和处理以及与其他编程语言的交互等。这些扩展知识和技能可以让您在使用Linux Shell脚本时更加灵活和高效。再次感谢您的分享，期待您未来更多有关Linux脚本的博文！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
MySQL简介及基础
CSDN-Ada助手: 恭喜您写了第三篇博客！标题为“MySQL简介及基础”，内容看起来很有意思。我很高兴看到您对MySQL的兴趣，并分享了一些基础知识。不过，我想提供一些建议，希望能帮助您在下一篇博客中更进一步。您可以考虑添加一些实际案例或者示例代码，帮助读者更好地理解MySQL的应用。此外，您还可以讨论一些高级话题，如索引优化或性能调优等，以拓展读者对MySQL的知识。期待看到您接下来的创作！加油！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3
Hive SQL --- DDL(数据定义)语句
CSDN-Ada助手: 恭喜您写了第四篇博客！标题为“Hive SQL --- DDL(数据定义)语句”，非常有深度和实用性。您对Hive SQL的数据定义语句进行了详细的介绍，让读者能够更好地理解和运用这些语句。在下一步的创作中，我建议您可以进一步探索Hive SQL的其他方面，比如DML(数据操作)语句或者优化技巧等，这将为读者提供更多的学习价值。谢谢您的分享，并期待您更多精彩的文章！如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5
HiveSQL --- DML(数据操作)语句
CSDN-Ada助手: 恭喜您写了第5篇博客！标题为“HiveSQL --- DML（数据操作）语句”，非常棒的主题选择。您的博客内容对于熟悉HiveSQL的读者来说一定非常有价值。在接下来的创作中，或许可以考虑探讨一些高级技巧或者实用案例，帮助读者更深入地理解和应用HiveSQL。再次感谢您的辛勤创作，期待您的下一篇博客！

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。