大数据 Hadoop 学习笔记 01

 

首先我建议电脑最好是 16 G内存的，否则容易卡，Mac 没用过，不清楚。

可以去 B 站搜索视频资料：8天学会Hadoop基础，地址：av15390641

名字也许看起来有点狗血，但里面的授课老师确实讲得不错。可以从第五个视频开始看，环境搭建。

玩 Hadoop ，首先就得把环境搭建好，如果这一步不走，下面的课程很难学，准备的工具以及我遇到的问题会分享在文章下面。

 

1 工具

虚拟机VMware12
CentOS-7
https://my.oschina.net/u/3489495/blog/3013280

Xshell
Xftp 6
下载路径以及破解方法：
https://blog.wintewu.com/archives/xshell-6-crack-trial

Linux jdk 下载
https://github.com/frekele/oracle-java/releases
因为某些原因，去官网下载反而更慢。

hadoop-2.9.2.tar.gz
https://archive.apache.org/dist/hadoop/core/hadoop-2.9.2/

PS：centOS7 部分命令与之前的版本有些不同

 

2 Hadoop 集群免密登录配置

这个免密登录配置，搞了我两天，头大。首先你得弄明白什么是 SSH 免密登录。（视频里的老师会讲解）。

举个例子，在古代一个在大洋的孤岛上，有个 A 王国，他们很奇怪与外界没有任何联系，闭关锁国 N 多年。

外面世界的征服者，对这块“处女地”垂涎已久，早就想吞并了，但苦于对 A 王国资料匮乏，不敢贸然进攻，孙子兵法有云：上兵伐谋，其次伐交，其次伐兵，其下攻城。

只有知己知彼才能百战不殆，于是派了间谍小明混入 A 王国，便于收集情报。

情况很顺利，小明已经在 A 王国收集了很多情报，问题来了，该怎么与组织汇报对接呢？怎么样才能避免被 A 王国的人拦截呢？

小明打开了之前上级给他的锦囊，原来是一把叫“私钥”的钥匙，只有手里有“公钥”钥匙的人才能与小明对接。

小明去上级安排好的老地方——客栈，一坐下，小明就吆喝“床前明月光”（请求登录）。

客栈身上带着“公钥”的店小二一听，哟呵，来了。马上去招呼小明，顺手给了一个“盒子”给他（这一步是店小二为了验证小明线人的身份）。（生产随机数 R ，并且用私钥对 R 加密得到的字符串）

小明接到“盒子”后，麻溜的用“私钥”解开了，取出里面的纸条（R），用特定的口诀对纸条（R）信息解读得到结果（Digest1）给了店小二。

店小二一看，也用相同的口诀对纸条（R）算出了结果(Digest2)，拿小明的结果（Digest1）与自个的（Digest2）比较，竟然相同。终于找到你…

于是两人开始了 PY 交易…

 

SSH 免密登录配置参考：
https://blog.csdn.net/cmt13579/article/details/88990336

PS:注意要修改权限哦，不然每次登录还是要输入密码。

配置这个 ssh 免密登录，有可能遇到 Permission denied 的问题，不仅要修改配置文件还要改文件的权限，遇到问题了估计是版本不同或者遗漏了步骤。

若集群环境玩坏了，大不了卸载再克隆一份呗，进步在于折腾。

 

PS：小弟不才难免疏漏，欢迎大佬们留言批评指正