hadoop单机伪分布式hadoop+scalal+spark

部署伪分布式hadoop

安装Java环境

[root@master ~]# tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

[root@master ~]# ls /usr/local/src/
jdk1.8.0_152

配置java环境

执行source使环境生效

source  /etc/profile

显示java版本号即为成功

实现免密登录

步骤一：创建ssh秘钥，输入如下命令，生成公私密钥

步骤二：将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出

hadoop的安装与配置

步骤一：将/opt下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下，并将解压文件改名为hadoop

步骤二：修改环境变量

步骤三：编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件

修改配置文件为jdk的安装路径：

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

步骤四：编辑/opt/hadoop/etc/hadoop/core-site.xml文件

步骤五：编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件

步骤六：复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml

编辑/opt/hadoop/etc/hadoop/mapred-site.xml文件

步骤七：编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件

步骤九： 格式化

步骤十：启动集群 jps查看,登录网页

spark安装

步骤一：安装命令如下，将安装包解压到/usr/local目录下，将安装包放在了root目录下

步骤三：进入spark目录的/sbin下启动spark集群，jps查看

启动spark

网页查询

安装scala

步骤一：安装命令如下，将安装包解压到/usr/local目录下，将安装包放在了root目录下

步骤二：配置scala环境变量，重新加载配置文件，运行scala