hadoop入门学习(一)安装和部署伪分布式系统

对于hadoop伪分布式系统的安装和部署,大概分为四步:1、配置jdk环境;2、下载hadoop压缩包;3、配置hadoop伪分布式需要配置的一些配置文件;4、启动。在我看到的一些其他的教程中还会有设置免密登录这一项,因为配置伪分布式环境不设置免密码登录也可以使用,所以我就不写如何设置免密登录了。

    1:配置jdk环境

        首先选择自己需要的版本,这里我选择的是jdk1.8,可以网上自行搜索下载;我这里下载好之后把压缩包放在了/opt下面;然后在opt下面运行  tar -zxvf  你的压缩包的名字    解压文件,解压成功之后opt下面会有jdk的包,此时需要再配置一下jdk的环境,编辑 /etc/profile 这个文件,把jdk的环境配置进去,具体做法是在里面添加:

export JAVA_HOME=/opt/jdk1.8.0_171

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

配置jdk环境解压包的位置没什么要注意的,只需要注意profile中的JAVA_HOME 的路径和真实的jdk路径一致就好了

2:下载hadoop安装包,我下载的hadoop 2.7.3,版本选择一个自己想要的就好了。下载地址

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

下载好之后我放在了 /home/hadoop下面,然后同样的 tar -zxvf 命令解压hadoop文件。然后需要配置hadoop的环境,同样式在profile中加入如下:

export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/home/hadoop/hadoop-2.7.6
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin


3:配置伪分布式配置文件:

    首先进入hadoop-2.7.6中的  /etc/hadoop,打开core-site.xml,进行以下配置

<configuration>
  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost.localdomain:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>

</configuration>

其中 fs.dafaultFS是配置hadoop的访问路径,hadoop.tmp.dir是配置hadoop的默认工作环境(可以不配置,但每次重启数据会丢失)。

然后打开hdfs-site.xml配置hdfs的相关信息

<configuration>
 <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

</configuration>

第一个name是配置namenode的路径,第二个name是配置datanode的路径,最后一个name是配置datanode的副本数量。

我现在只是在使用hdfs,所以mapreduce等其他模块的配置还不知道具体是在配置什么东西,这篇教程只是把我目前理解的入门时候进行系统配置的时候需要配置的东西写下来。


4:初始化和启动:

进入hadoop-2.7.6目录下面的bin目录下面 执行  ./hdfs namenode -format,进行初始化,其实也就是把namenode的工作空间格式化,把一些必要的东西放进去。此时最好用root用户来执行,否则可能会权限不够,初始化成功之后(具体怎么样算初始化成功,可以参考其他博客,大概就是出现一个什么successful什么的就初始化成功了),成功之后进入到 hadoop-2.7.6/sbin,执行  ./start-dfs.sh  开启hdfs,开启成功之后执行jps命令,会看到namenode、datanode和secondnamenode,此时就已经开启成功,打开网页可以输入个人ip地址加50070的端口进行访问(eg:http://192.168.0.102:50070)。



阅读更多
文章标签: hadoop 大叔据
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

hadoop入门学习(一)安装和部署伪分布式系统

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭