Hadoop基础教程-第1章 环境安装配置(1.7 目录规划)

第1章 环境安装配置

1.7 目录规划

1、总体规划

软件安装目录:/opt

数据目录:/var/data

日志目录:/var/log

2、hadoop相关目录

按照上面规划,hadoop相关目录如下:

软件安装目录:/opt/hadoop2.7

数据目录:/var/data/hadoop

  1. /var/data/hadoop/name
  2. /var/data/hadoop/datanode
  3. /var/data/hadoop/hdfs
  4. /var/data/hadoop/journalnode

日志目录:/var/log/hadoop

3、Linux目录结构

这里写图片描述

Linux操作系统目录

  • /etc:系统配置文件存放的目录
  • /dev:存放linux系统下的设备文件
  • /usr:由发行版的软件包管理工具负责管理的软件安装目录(usr 是 Unix Software Resource 的缩写)
  • /opt:给主机额外安装软件所摆放的目录。
  • /var:放置系统执行过程中经常变化的文件,如随时更改的日志文件/var/log

有一种说法:
/usr/local目录类似于windows下的Program Files目录,可以存放用户安装的软件。

 /etc:配置文件
 /bin:重要执行档
 /dev:所需要的装置档案
 /lib:执行档所需的函式库不核心所需的模块
 /sbin:重要的系统执行文件
这个五个目录是操作系统重要目录,与根目录”/”必须位于同一块磁盘分区中。使用一般情况下用户软件和数据不要放到这五个目录下面。

好的,下面是Hadoop安装教程-单机-伪分布式配置-Hadoop2.6.0-Ubuntu14.04详细教程教学: 1. 安装Java Hadoop是基于Java开发的,因此需要先安装Java。可以在终端中输入以下命令进行安装: ```bash sudo apt-get update sudo apt-get install default-jdk ``` 2. 下载Hadoop 可以在Hadoop官网下载Hadoop压缩包,也可以在终端中输入以下命令进行下载: ```bash wget https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz ``` 3. 解压Hadoop 在终端中输入以下命令解压Hadoop压缩包: ```bash tar -xzvf hadoop-2.6.0.tar.gz ``` 4. 配置Hadoop环境变量 打开终端中的/etc/environment文件,并在其中添加以下内容: ```bash export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 其中,/path/to/hadoopHadoop所在的路径。保存文件后,输入以下命令使配置生效: ```bash source /etc/environment ``` 5. 配置Hadoop 进入Hadoop目录,编辑etc/hadoop/hadoop-env.sh文件。找到以下行: ```bash export JAVA_HOME=${JAVA_HOME} ``` 将其修改为: ```bash export JAVA_HOME=/usr/lib/jvm/default-java ``` 保存文件并关闭。 6. 配置HDFS 进入etc/hadoop目录,编辑hdfs-site.xml文件。添加以下内容: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/path/to/hadoop/data/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/path/to/hadoop/data/dfs/datanode</value> </property> </configuration> ``` 其中,/path/to/hadoop/data为Hadoop数据存储路径。 7. 配置YARN 进入etc/hadoop目录,编辑yarn-site.xml文件。添加以下内容: ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> ``` 8. 配置MapReduce 进入etc/hadoop目录,编辑mapred-site.xml文件。添加以下内容: ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 9. 格式化HDFS 在终端中输入以下命令格式化HDFS: ```bash hdfs namenode -format ``` 10. 启动Hadoop 在终端中输入以下命令启动Hadoop: ```bash start-all.sh ``` 11. 验证Hadoop 在浏览器中输入http://localhost:50070,即可访问Hadoop Web UI。在该页面中可以查看HDFS的状态、数据块、节点等信息。 以上就是Hadoop安装教程-单机-伪分布式配置-Hadoop2.6.0-Ubuntu14.04详细教程教学。希望对你有所帮助!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值