《大数据实训 电影推荐系统》系列2

目录

 

理论支持 ：《大数据实训 电影推荐系统》  林子雨

1.免密登录配置

2.启动Hadoop报错

3.产生报错 JAVA_HOME NOT FOUND       找到要修改JAVA_HOME的配置文件全修改

4.目标：Spark可以奔跑出数据，hive，zookeepre 也很重要，和目标关联不大，不执行配置操作。

5.Spark-shell 作为交互式解释器的强大之处在于，立即执行，及时反馈。

6.mysql中的乱码解决方案：

7.ETL工具Kettle完成对数据上传到hdfs的工作

7.1 什么是RDD？           可以比作java中的对象概念，但不及DataFrame细致，见下图

8.使用Spark Sql 读取Mysql 数据库，option（）连接参数一定仔细！！！

9.先配置依赖后写程序，书中的顺序有些问题

 

10.单词个数统计

java.lang.ClassNotFoundException: WordCount  报错

12.Access denied for user 'root'@'localhost' (using password: YES   检查自己的密码

13更改密码后，可以运行出来结果。

jar 包提交到Spark上面运行

 

​

---

 

 

---

理论支持 ：《大数据实训 电影推荐系统》  林子雨

1.免密登录配置

  cat  A  >> B   (A,B皆是文件名称)

 

2.启动Hadoop报错

检查配置文件core-site.xml  粘贴过程中发现两处</configuration>

 

 

 

3.产生报错 JAVA_HOME NOT FOUND       找到要修改JAVA_HOME的配置文件全修改

 

 

4.目标：Spark可以奔跑出数据，hive，zookeepre 也很重要，和目标关联不大，不执行配置操作。

 

 

 

5.Spark-shell 作为交互式解释器的强大之处在于，立即执行，及时反馈。

 

6.mysql中的乱码解决方案：

配置文件/etc/mysql/mysql.conf.d/mysqld.cnf  加入  character_set_server=utf8

重启mysql服务

 

 

7.ETL工具Kettle完成对数据上传到hdfs的工作

 

7.1 什么是RDD？           可以比作java中的对象概念，但不及DataFrame细致，见下图

 

推荐博客园高质量博主回答RDD是什么的文章

https://www.cnblogs.com/qingyunzong/p/8899715.html  

 

8.使用Spark Sql 读取Mysql 数据库，option（）连接参数一定仔细！！！

 

 

9.先配置依赖后写程序，书中的顺序有些问题

 

10.单词个数统计

 

1. java.lang.ClassNotFoundException: WordCount  报错

 

 

 

12.Access denied for user 'root'@'localhost' (using password: YES   检查自己的密码

 

13更改密码后，可以运行出来结果。

教程前后有不相符合的地方，自己注意灵活变通

 

 

1. jar 包提交到Spark上面运行

 

 

---

 

 

码字不易，你的关注就是我最大的支持                     有帮助的话，记得点赞，关注，一键三连噢