Hadoop学习笔记 | NJU 大数据实验课MapReduce

最新推荐文章于 2023-04-10 08:00:00 发布

我是乖孩子真的

最新推荐文章于 2023-04-10 08:00:00 发布

阅读量417

点赞数 1

分类专栏：算法大数据实验 Hadoop MapReduce 文章标签： MapReduce Hadoop

本文链接：https://blog.csdn.net/sinat_36382315/article/details/89159707

版权

这篇博客记录了Hadoop MapReduce的学习过程，包括Hadoop的环境配置，遇到的权限问题和SSH免密登录的解决方法。此外，还分享了HBase与Hive的安装和使用经验，提供了详细的教程链接。

摘要由CSDN通过智能技术生成

实验二：

Hadoop入门教程：https://www.cnblogs.com/zhangduo/p/4592749.html

按照上述教程操作时，首先需要注意的是，\home文件夹中只有原先账户的文件夹，没有hadoop账户文件夹，此时应当使用root用户新建\home\hadoop文件夹，然后用root用户执行nautilus /home，进入root用户的图形界面，右键点击hadoop文件夹，将该文家的用户组和用户设为hadoop-user和hadoop，这样在后续的步骤中才不会出现Permission denied错误。另外除了按照上述教程配置xml文件之外，按照官网的xml配置也是可以运行的，官网链接附上：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

在配置ssh时，我首先自己创建了.ssh文件，然后执行ssh-keygen -t rsa，将生成的id_rsa.pub复制为authorized_keys文件，然后执行ssh localhost，此时依旧需要输入密码，仍不能使用ssh免密登录，查看日志发现是找不到id_rsa文件，一番操作后，发现课件ppt中要求先进入.ssh文件夹，在生成密钥，而初始时并没有.ssh文件夹，于是我自