从开始玩linux,配置hadoop和spark集群的过程用了二十多个小时,后面也是进行得越来越顺利。
在安装和配置过程中学习和用到的一些网站和博客,在此分享一下。
一、vmware centOS7.0 hadoop jdk hadoop scala spark 安装包百度网盘分享
链接:https://pan.baidu.com/s/16d1gxlYOxL9-dwHcNiyrDw 密码:04y4
二、vmware及vmware下centOS7.0的安装,按照百度经验照做就可以解决
三、centOS7.0安装后无法上网
(1)使用root权限
su //使用root权限
(2) 修改ifcfg-enoxxxxx文件
(3)将no改为yes
(4)重启network
service network restart
四、安装配置JDK
(1)参考博客https://www.cnblogs.com/yjlch1016/p/8900841.html
注centOS7.0自带openjdk,并且没有配置环境变量,可先下载jdk安装包,解压之后直接配置环境变量即可,无需卸载openjdk操作
(2)参考博客https://blog.csdn.net/u013248434/article/details/70304526
可以得知获取centOS7.0自带openjdk的安装路径,但是对于scala的安装,必须要按照(1)安装jdk
安装成功后,javac、java、java -version进行验证,截图如下
五、hadoop安装及集群配置
参考博客 https://blog.csdn.net/pucao_cug/article/details/71698903
六、scala,spark安装及单机、集群配置
集群版,参考博客 https://blog.csdn.net/pucao_cug/article/details/72353701
单机版,参考博客 https://blog.csdn.net/pucao_cug/article/details/72377219
spark测试,参考博客 https://blog.csdn.net/pucao_cug/article/details/72377219
七、putty传输文件
(1)从windows向centOS传输文件,参考博客 https://blog.csdn.net/wqn_csdn/article/details/72582000
(2)将centOS中的文件下载到本地的命令如下,即可在本地查看下载的文档
八、U盘挂载
参看百度经验 https://jingyan.baidu.com/article/8ebacdf028b13449f65cd5a5.html
九vmware tools安装以实现虚拟机和主机之间文件拖拽共享(但是在虚拟机下有多个centOS7.0系统时,我只能配置成功一个)
参考博客 http://blog.51cto.com/5001660/2093899
在熟悉的过程中遇到了很多坑,但是处理起来会越来越顺利许多。