hadoop搭建及spark安装

最新推荐文章于 2024-07-13 09:47:47 发布

qq_36574506

最新推荐文章于 2024-07-13 09:47:47 发布

阅读量864

点赞数 1

文章标签： hadoop linux centos 大数据

本文链接：https://blog.csdn.net/qq_36574506/article/details/108777146

版权

本文详细介绍了如何在CentOS系统上搭建Hadoop和Spark环境，包括Linux常用命令、JDK安装、Hadoop的单例、伪分布式和完全分布式模式的配置与启动，以及SSH免密码登录等步骤。

摘要由CSDN通过智能技术生成

linux常用命令

https://www.cnblogs.com/xuxinstyle/p/9609551.html

mkdir 创建目录

在这里插入图片描述

tar解压命令

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tfDobs0S-1600935884356)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200924160941213.png)]$

pwd查看完整路径

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IqhQndrJ-1600935884367)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200924161012416.png)]$

rm删除文件

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yIEGBYVU-1600935884380)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200924161116480.png)]$

mv移动命令

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vkUUYt2B-1600935884382)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200924161154387.png)]$

ls查看文件夹内容

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FHXfTZ9j-1600935884384)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200924161608652.png)]$

cd命令

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M3neai4D-1600935884386)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200924161654965.png)]$

搭建

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I94U5p07-1600935884394)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200306234509301.png)]$

ifconfig: 未找到命令

参考网址：https://blog.csdn.net/Gushiyuta/article/details/90760401
方法一：输入ip addr
方法二：输入以下命令安装net-tool：
       yum -y install net-tools
       最后使用ifconfig命令验证

查看并卸载

[root@localhost software]# rpm -qa | grep java
[root@localhost software]# rpm -e java

JDK安装

1.下载并解压

创建目录/usr/software和/master，下载jdk-8u60-linux-x64.tar.gz到/usr/software目录下，并解压/master/目录下

[root@master software]# tar -zxvf /usr/software/jdk-8u60-linux-x64.tar.gz -C /master/

2.环境变量配置

[root@master software]# vi /etc/profile

<！按G可直接到文件末尾，再按i进入编辑状态，在末尾添加一下内容>
#JAVA_HOME
JAVA_HOME=/master/jdk1.8.0_60     <！你的jdk所在目录>
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH

<！按esc退出编辑状态，输入   ：wq  进行保存  >

[root@master software]# source /etc/profile    <！刷新配置文件>

3.测试

<！测试jdk是否安装成功>
[root@master software]# java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
[root@master software]# javac
用法: javac <options> <source files>
其中, 可能的选项包括:
  -g                         生成所有调试信息
  ......

4.编译java文件

javac hello.java
java hello

单例模式搭建

1.下载并解压

将/usr/software目录下下载好的hadoop-2.7.7.tar.gz压缩吧，解压到/master/目录下

[root@master software]# tar -zxvf hadoop-2.7.7.tar.gz -C /master/

2.环境变量配置

同java的环境变量配置

#HADOOP_HOME
export HADOOP_HOME=/master/hadoop-2.7.7
export PATH=$HAD

最低0.47元/天解锁文章

qq_36574506

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫