linux 伪分布式jps进程,第四讲：hadoop伪分布式部署并查看hdfs

最新推荐文章于 2023-05-28 19:20:32 发布

我超喜欢小薯条

最新推荐文章于 2023-05-28 19:20:32 发布

阅读量789

点赞数

文章标签： linux 伪分布式jps进程

伪分布式：namenode和datanode都安装在本机上。

操作流程如下：

1、确保安装好jdk

2、确保安装好hadoop，这里演示的用的是hadoop2.9.2

3、配置hadoop-env.sh、core-site.xml、hdfs-site.xml

4、格式化hdfs

5、启动namenode、启动datanode

6、查看java进程，查看hdfs网页界面

************************************************************以下是操作****************

1、jdk版本

2、hadoop版本

3.1、配置hadoop-env.sh

这个文档使用来配置hadoop的运行环境的，用来定义hadoop运行环境相关的配置信息。

文档在hadoop安装目录的etc/hadoop/下面：

采用vi或gedit打开，找到java_home，这里默认是java_home这个变量，但是我们要修改成绝对的java路径：

可以用终端查看java路径，并把这个路径复制：

把java路径复制替换$java_home变量并保存

3.2、配置core-site.xml

这个文件集群全局参数，用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等。

文档的路径是：hadoop根目录下的etc/hadoop/

用vi或gedit打开，打开后里面是空的，但是现实有对应的configuration配置节点。

我们需要在configuration节点里面添加子节点：

上面配置的是两个节点，一个是fs.defaultFS这个变量，默认文件系统的名称。通常指定namenode的URI地址，包括主机和端口。我这里设置的是loclahost，也就是本机，端口是9000；hadoop.tmp.dir这个变量，指定Hadoop运行时产生文件的存储目录，是其它临时目录的父目录，会被其它临时目录用到，如果不设置这个目录，那么当hadoop关闭后某些系统临时目录会被清空，当下一次需要启动hadoop时需要重新进行初始化。所以这里人工指定目录可以避免被清空。我这里是在hadoop安装根目录下面，系统会自动创建对应的temp文件夹。这里还可以配置很多内容，具体可以查看https://www.cnblogs.com/jpcflyer/p/8934601.html。

3.2、配置hdfs-site.xml

这个文件是配置hdfs，如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等。