大数据预处理工具的综合使用

⚠申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址。 全文共计4409字，阅读大概需要3分钟
🌈更多学习内容， 欢迎👏关注👀【文末】我的个人微信公众号：不懂开发的程序猿
⏰个人网站：https://jerry-jy.co/

❗❗❗知识付费，🈲止白嫖，有需要请后台私信或【文末】个人微信公众号联系我

一、任务描述

本实验任务主要完成基于ubuntu环境的大数据预处理工具的综合使用的工作。通过完成本实验任务，要求学生熟练掌握使用大数据预处理工具的综合使用的方法，为后续实验的开展奠定ETL平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。

二、任务目标

1、掌握大数据预处理工具的综合使用

三、任务环境

Ubuntu(三台节点:mater,slave1,slave2)、Java1.8、Kettle7.1

四、任务分析

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
  Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
  Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

五、 任务实施

步骤1、环境准备

在节点master上执行命令【start-all.sh】。如图1所示。

图1 启动Hadoop
  启动成功后，节点出现以下进程信息。如图2所示。