（2）搭建环境（hadoop+java环境）——开发企业级大数据平台

#创建hadoop用户，设置密码

权限设置

1、root用户下执行命令：visudo

2、添加一行：hadoop  ALL=(ALL)       ALL

保存即可

#切换到Hadoop用户

#根目录下新建soft目录

sudo mkdir /soft

#下载hadoop2.8.5

Index of /dist/hadoop/common/hadoop-2.8.5

#查询虚拟机ip

命令：ip addr 参考教程centos7.0查看IP - yhtomail - 博客园

Q:如何上传文件到虚拟机？

W：安装xftp

#上传hadoop压缩包

W:操作soft目录权限不够

Q:深入了解Linux文件权限 秒懂Linux文件权限及chmod命令 - 知乎

#安装hadoop

参考教程：大数据基础编程、实验和案例教程（林子雨）

#安装ssh 

sudo yum install openssh-server

使用如下命令登录本机

ssh localhost

退出ssh

exit

设置ssh无密码登录

参考教程

https://jingyan.baidu.com/article/0f5fb099e2b6236d8334eaf9.html

#下载jdk8 (jdk-8u191-linux-x64.tar.gz)

官网下载 Java Archive Downloads - Java SE 8

网盘下载  https://pan.baidu.com/s/1cCtSolwsZCmL7xN6orTjTw 提取码     nmi1

#soft/ 目录下新建home文件夹

#解压jdk到home目录下

#添加环境变量

#更新文件 

#查看Java版本

java -version

#解压hadoop压缩包

tar -zxf hadoop-2.8.5.tar.gz 

#修改文件权限

chown -R hadoop ./hadoop-2.8.5

#将解压文件移到home目录下

mv hadoop-2.8.5 ./home/

#配置环境变量

vi ~/.bash_profile

添加

更新文件

source ~/.bash_profile

#查看hadoop版本

#伪分布式模式

文件路径 /soft/home/hadoop-2.8.5/etc/hadoop

#配置文件

core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/soft/home/hadoop-2.8.5/tmp</value>
        </property>
</configuration>

#配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/soft/home/hadoop-2.8.5/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/soft/home/hadoop-2.8.5/tmp/dfs/data</value>
    </property>
</configuration>

#执行名称节点格式化

cd /soft/home/hadoop-2.8.5

./bin/hdfs namenode -format

#启动hadoop

start-dfs.sh

Q:

A:

参考教程 Error:JAVA_HOME is not set and could not be found 解决般的法_dianzishijian的专栏-CSDN博客_env is not set

#查看是否启动成功