（五）把数据集ETL到HDFS中——从0开始大数据开发实战：电影推荐系统（scala版）

#数据集下载

电影推荐系统——>数据集——>movie_recommend.zip

https://pan.baidu.com/s/1KbX8DbBvW8Cqogh3xWFxEw 提取码：8h10 

其他电影数据集资源：

https://www.csuldw.com/2019/09/08/2019-09-08-moviedata-10m/

#对进行解压movie_recommend.zip

$ cd ~/Downloads

$ unzip movie_recommend.zip  

 

 

#使用Kettle工具把数据ETL到HDFS中

1)安装kettle

参考教程 http://dblab.xmu.edu.cn/blog/kettle/

2）设置显示为中文

tools->options->look&feel->最下面的language设置

3）配置kettle

参考教程：https://blog.csdn.net/qq_36330643/article/details/70144014

kettle未配置

4）使用命令行将本地文件传到HDFS

5）删除hdfs中的文件

6）查看hdfs中的文件