文章目录
- 一、本机远程桌面连接win7虚拟机查看
- 二、使用SecureCRT访问三台虚拟机
- 三、利用SecureCRT登录三台虚拟机
- 为salve1添加域名服务器
- 五、测试几台虚拟机互ping
- 六、关闭禁用防火墙
- 七、关闭SeLinux安全机制
- 八、设置三台虚拟机相互免密登录
- 九、在三台虚拟机上安装lrzsr
- 十、在三台虚拟机上安装配置JDK
- 十一、配置完全分布式Hadoop
- (一)在master虚拟机上安装配置hadoop
- 1、上传hadoop安装包到/opt目录
- 2、将hadoop安装包解压到指定位置
- 3、配置hadoop环境变量
- 4、编辑hadoop环境配置文件 - hadoop-env.sh
- 5、编辑核心配置文件 - core-site.xml
- 6、编辑HDFS配置文件 - hdfs-site.xml
- 7、编辑MapReduce配置文件 - mapred-site.xml
- 8、编辑yarn配置文件 - yarn-site.xml
- 9、编辑slaves文件
- (二)在slave1虚拟机上安装配置hadoop
- 1、将master虚拟机上的hadoop分发到slave1虚拟机
- 2、将master虚拟机上环境配置文件分发到slave1虚拟机
- 3、在slave1虚拟机上让环境配置生效
- (三)在slave2虚拟机上安装配置hadoop
- 1、将master虚拟机上的hadoop分发到slave2虚拟机
- 2、将master虚拟机上环境配置文件分发到slave2虚拟机
- 3、在slave2虚拟机上让环境配置生效
- (四)在master虚拟机上格式化名称节点
- (五)启动与关闭Hadoop集群
- 1、在master虚拟机上启动hadoop服务
- 2、查看hadoop集群的WebUI界面
- 3、停止hadoop服务
- 十二、配置Spark Standalone模式的集群
- (一)在master主节点上安装配置Spark
- 1、上传spark安装包到master虚拟机
- 2、将spark安装包解压到master虚拟机指定目录
- 3、配置spark环境变量
- 4、编辑spark环境配置文件
- 5、创建slaves文件,添加从节点
- (二)在slave1从节点上安装配置Spark
- 1、把master虚拟机上的spark安装目录分发给slave1虚拟机
- 2、将master虚拟机上环境变量配置文件分发到slave1虚拟机
- 3、在slave1虚拟机上让spark环境配置文件生效
- (三)在slave2从节点上安装配置Spark
- 1、把master虚拟机上的spark安装目录分发给slave2虚拟机
- 2、将master虚拟机环境变量配置文件发送到slave2
- 3、在slave2虚拟机上让spark环境配置文件生效
- 十三、启动并使用Spark Standalone模式的集群
- (一)启动hadoop的dfs服务
- (二)启动Spark集群
- (三)访问Spark的WebUI
- (四)启动Scala版Spark Shell
- (五)关闭Spark服务
一、本机远程桌面连接win7虚拟机查看
- win7外网IP地址
- 启动远程桌面连接,输入IP地址,点击【连接】按钮
- 输入用户名和密码后,点击【确定】
1、远程桌面连接
2、远程桌面连接失败的解决办法
- 项目–网络–安全组–管理规则
- 添加规则–输入以下内容–单机添加按钮
设置完成后再次连接即可
二、使用SecureCRT访问三台虚拟机
- 找到SecureCRTPortable应用程序–双击启动
1、连接master
- 单击【Quick Connect】按钮
输入ip地址,单击【Connect】按钮
- 输入密码,点击【OK】按钮
- 连接成功
- 用同样办法连接slave1、slave2
2、连接slave1
- 输入slave1 IP地址
- 输入密码
3、连接slave2
- 输入slave2 IP地址
- 输入用户和密码
4、更改标签名
- 在【file]菜单中选择Connect
- 选中IP地址右键选择【Rename】
输入【master】–点击【Connect】
- 再次输入密码连接
- 更改成功
- 同理修改slave1\slave2标签名
5、为虚拟机页面进行设置
- 单击master虚拟机
- 单击【Options】菜单下的【Session Options】
- 【Emulation】—【Terminal】—【liunx】
- 【Appearance】 — Fonts 【Normal Font, Character encoding】
- master页面设置完成(如下图)
- 同理设置slave1/slave2
- slave1
- slave2
三、利用SecureCRT登录三台虚拟机
1、登录master虚拟机
为master添加域名服务器
- 执行命令:vi /etc/resolv.conf,修改/etc/resolv.conf文件
- 添加域名服务器(在centos里,复制ctrl+shift+c,粘贴ctrl+shift+v)
- 存盘并退出(shift+: 输入wq!)
- 安装vim编辑器