首先我建议电脑最好是 16 G内存的,否则容易卡,Mac 没用过,不清楚。
可以去 B 站搜索视频资料:8天学会Hadoop基础,地址:av15390641
名字也许看起来有点狗血,但里面的授课老师确实讲得不错。可以从第五个视频开始看,环境搭建。
玩 Hadoop ,首先就得把环境搭建好,如果这一步不走,下面的课程很难学,准备的工具以及我遇到的问题会分享在文章下面。
虚拟机VMware12
CentOS-7
https://my.oschina.net/u/3489495/blog/3013280
Xshell
Xftp 6
下载路径以及破解方法:
https://blog.wintewu.com/archives/xshell-6-crack-trial
Linux jdk 下载
https://github.com/frekele/oracle-java/releases
因为某些原因,去官网下载反而更慢。
hadoop-2.9.2.tar.gz
https://archive.apache.org/dist/hadoop/core/hadoop-2.9.2/
PS:centOS7 部分命令与之前的版本有些不同
这个免密登录配置,搞了我两天,头大。首先你得弄明白什么是 SSH 免密登录。(视频里的老师会讲解)。
举个例子,在古代一个在大洋的孤岛上,有个 A 王国,他们很奇怪与外界没有任何联系,闭关锁国 N 多年。
外面世界的征服者,对这块“处女地”垂涎已久,早就想吞并了,但苦于对 A 王国资料匮乏,不敢贸然进攻,孙子兵法有云:上兵伐谋,其次伐交,其次伐兵,其下攻城。
只有知己知彼才能百战不殆,于是派了间谍小明混入 A 王国,便于收集情报。
情况很顺利,小明已经在 A 王国收集了很多情报,问题来了,该怎么与组织汇报对接呢?怎么样才能避免被 A 王国的人拦截呢?
小明打开了之前上级给他的锦囊,原来是一把叫“私钥”的钥匙,只有手里有“公钥”钥匙的人才能与小明对接。
小明去上级安排好的老地方——客栈,一坐下,小明就吆喝“床前明月光”(请求登录)。
客栈身上带着“公钥”的店小二一听,哟呵,来了。马上去招呼小明,顺手给了一个“盒子”给他(这一步是店小二为了验证小明线人的身份)。(生产随机数 R ,并且用私钥对 R 加密得到的字符串)
小明接到“盒子”后,麻溜的用“私钥”解开了,取出里面的纸条(R),用特定的口诀对纸条(R)信息解读得到结果(Digest1)给了店小二。
店小二一看,也用相同的口诀对纸条(R)算出了结果(Digest2),拿小明的结果(Digest1)与自个的(Digest2)比较,竟然相同。终于找到你…
于是两人开始了 PY 交易…
SSH 免密登录配置参考:
https://blog.csdn.net/cmt13579/article/details/88990336
PS:注意要修改权限哦,不然每次登录还是要输入密码。
配置这个 ssh 免密登录,有可能遇到 Permission denied 的问题,不仅要修改配置文件还要改文件的权限,遇到问题了估计是版本不同或者遗漏了步骤。
若集群环境玩坏了,大不了卸载再克隆一份呗,进步在于折腾。
PS:小弟不才难免疏漏,欢迎大佬们留言批评指正