本文详细介绍了大数据定时处理流程，包括使用Kettle或Sqoop将数据导入HDFS，加载数据到Hive数仓，利用Spark-SQL查询数据并写入MySQL数据库。同时，文中给出了定时任务的配置示例，以实现自动化数据处理。
大数据定时处理流程（结构化数据）
- 一、使用kattle工具或sqoop工具把数据导入hdfs
-
1、Kattle工具配置
复制hadoop服务中hdfs-site.xml hive-site.xml yarn-site.xml文件，并放入Kattle的C:\Users\Administrator\Desktop\pdi-ce-8.2.0.0-342\pdi-ce-8.2.0.0-342\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30目录中
2、启动Kattle Spoon.bat
3、创建转换
1）编辑表输入
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
