网络安全最新Hdfs安装模式之完全分布式集群_slave节点多了nodemanager少了，2024年最新2024年阿里网络安全高级面试题分享

最新推荐文章于 2024-06-18 16:10:07 发布
最新推荐文章于 2024-06-18 16:10:07 发布
阅读量546 收藏 30
点赞数 10
分类专栏： 程序员 文章标签： 网络安全 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84520026/article/details/138637932
版权

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

在这里插入图片描述

因篇幅有限，仅展示部分资料

网络安全面试题

绿盟护网行动

还有大家最喜欢的黑客技术

网络安全源码合集+工具包

所有资料共282G，朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》，可以扫描下方二维码领取（如遇扫码问题，可以在评论区留言领取哦）~

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

-1. 使用rsa加密技术，生成公钥和私钥。一路回车即可
[root@master ~]# cd ~
[root@master ~]# ssh-keygen -t rsa
-2. 进入~/.ssh目录下，将id_rsa.pub复制一份文件，文件名为authorized_keys。保证此文件的权限是600
[root@master ~]# cd ~/.ssh
[root@master .ssh]# cp id_rsa.pub authorized_keys
或者使用ssh-copy-id命令
[root@master .ssh]# ssh-copy-id -i id_ras.pub root@master
-3. 进行验证
[hadoop@master .ssh]# ssh localhost
[hadoop@master .ssh]# ssh master
[hadoop@master .ssh]# ssh 0.0.0.0
#输入yes后，不提示输入密码就对了
​
​
注意：三台机器提前安装好的情况下，需要同步公钥文件。如果使用克隆技术。那么使用同一套密钥对就方便多了。


4.6 时间同步

可以参考Linux文档中的时间同步或者搭建局域网时间服务器。


4.7 安装Jdk和Hadoop，配置相关环境变量

-1. 上传和解压两个软件包
[root@master ~]# cd /opt/software/
[root@master software]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/apps/
[root@master software]# tar -zxvf hadoop-2.7.6.tar.gz -C /opt/apps/
​
-2. 进入apps里，给两个软件更名
[root@master software]# cd /opt/apps/
[root@master apps]# mv jdk1.8.0_221/ jdk
[root@master apps]# mv hadoop-2.7.6/ hadoop
​
-3. 配置环境变量
[hadoop@master apps]# vi /etc/profile
​
…省略…
​
#java environment
export JAVA_HOME=/opt/apps/jdk
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:JAVA_HOME/jre/bin:KaTeX parse error: Expected 'EOF', got '#' at position 8: PATH ​ #̲hadoop environm…HADOOP_HOME/bin: H A D O O P H O M E / s b i n : HADOOP_HOME/sbin: HADOOPH​OME/sbin:PATH


#### **5 Hadoop的配置文件**


5.1 提取四个默认配置文件


第一步：将hadoop安装包解压到pc端的一个目录下，然后在hadoop-2.7.6目录下创建一个default目录，用于存储默认配置文件。 第二步：进入hadoop的share目录中的doc子目录，搜索default.xml。将以下四个默认的xml文件copy到default目录中，方便以后查看


![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi0zYjQzMTRjMjAwZjljMGQ2NDJjZmE2ODJhOWU0NjUwYl83MjB3LmpwZw?x-oss-process=image/format,png)


5.2 $HADOOP\_HOME/etc/hadoop/目录下的用户自定义配置文件
  • core-site.xml
  • hdfs-site.xml
  • mapred-site.xml 复制mapred-site.xml.template而来
  • yarn-site.xml

5.3 属性的优先级

代码中的属性>xxx-site.xml>xxx-default.xml


#### **6 完全分布式文件配置（重点）**

配置前说明：我们先在master机器节点上配置hadoop的相关属性。


6.1 配置core-site.xml文件

[root@master ~]# cd $HADOOP_HOME/etc/hadoop/
[root@master hadoop]# vi core-site.xml



fs.defaultFS
hdfs://master:8020



hadoop.tmp.dir
/opt/apps/hadoop/tmp



> 
>  参考：core-default.xml 
> 


6.2 再配置hdfs-site.xml文件

[root@master hadoop]# vi core-site.xml



dfs.namenode.name.dir
file:// h a d o o p . t m p . d i r / d f s / n a m e < / v a l u e > < / p r o p e r t y > < ! − − 确定 D F S 数据节点应该将其块存储在本地文件系统的何处 − − > < p r o p e r t y > < n a m e > d f s . d a t a n o d e . d a t a . d i r < / n a m e > < v a l u e > f i l e : / / {hadoop.tmp.dir}/dfs/name</value> </property> <!-- 确定DFS数据节点应该将其块存储在本地文件系统的何处--> <property> <name>dfs.datanode.data.dir</name> <value>file:// hadoop.tmp.dir/dfs/name</value></property><!−−确定DFS数据节点应该将其块存储在本地文件系统的何处−−><property><name>dfs.datanode.data.dir</name><value>file://{hadoop.tmp.dir}/dfs/data



dfs.replication
3



dfs.blocksize
134217728



dfs.namenode.secondary.http-address
slave1:50090



> 
>  参考：hdfs-default.xml 
> 


6.3 然后配置mapred-site.xml文件


如果只是搭建hdfs,只需要配置core-site.xml和hdfs-site.xml文件就可以了，但是我们过两天要学习的MapReduce是需要YARN资源管理器的，因此，在这里，我们提前配置一下相关文件。

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]# vi mapred-site.xml



mapreduce.framework.name
yarn



mapreduce.jobhistory.address
master:10020



mapreduce.jobhistory.webapp.address
master:19888



> 
>  参考：mapred-default.xml 
> 


6.4 配置yarn-site.xml文件

[root@master hadoop]# vi yarn-site.xml



yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.resourcemanager.hostname
master



> 
>  参考：yarn-default.xml 
> 


6.5 配置hadoop-env.sh脚本文件

[root@master hadoop]# vi hadoop-env.sh
…

The java implementation to use.

export JAVA_HOME=/opt/apps/jdk
…


6.6 配置slaves文件，此文件用于指定datanode守护进程所在的机器节点主机名

[root@master hadoop]# vi slaves
master
slave1
slave2


6.7 配置yarn-env.sh文件，此文件可以不配置，不过，最好还是修改一下yarn的jdk环境比较好

[root@master hadoop]# vi yarn-env.sh
…省略…

some Java parameters

export JAVA_HOME=/opt/apps/jdk
…省略…


#### **7 另外两台机器配置说明**


当把master机器上的hadoop的相关文件配置完毕后，我们有以下两种方式来选择配置另外几台机器的hadoop.


**方法1：**“scp”进行同步

提示：本方法适用于多台虚拟机已经提前搭建出来的场景。
​
–1. 同步hadoop到slave节点上
[root@master ~]# cd /opt/apps
[root@master apps]# scp -r ./hadoop slave1:/opt/apps/
[root@master apps]# scp -r ./hadoop slave2:/opt/apps/
​
–2. 同步/etc/profile到slave节点上
[root@master apps]# scp /etc/profile slave1:/etc/
[root@master apps]# scp /etc/profile slave2:/etc/
​
–3. 如果slave节点上的jdk也没有安装，别忘记同步jdk。
–4. 检查是否同步了/etc/hosts文件


**方法2：**克隆master虚拟机

提示：本方法适用于还没有安装slave虚拟机的场景。通过克隆master节点的方式，来克隆一个slave1和slave2机器节点，这种方式就不用重复安装环境和配置文件了，效率非常高，节省了大部分时间(免密认证的秘钥对都是相同的一套)。
​
–1. 打开一个新克隆出来的虚拟机，修改主机名
[root@master ~]# hostnamectl set-hostname slave1
–2. 修改ip地址
[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
…省略…
IPADDR=192.168.10.201 <==修改为slave1对应的ip地址
…省略…
–3. 重启网络服务
[root@master ~]# systemctl restart network
–4. 其他新克隆的虚拟机重复以上1~3步
–5. 免密登陆的验证
从master机器上，连接其他的每一个节点，验证免密是否好使，同时去掉第一次的询问步骤
​
–6. 建议：每台机器在重启网络服务后，最好reboot一下。


#### **8 格式化NameNode**


**1）**在master机器上运行命令

[root@master ~]# hdfs namenode -format


**注意，注意，注意：** 如果你是从伪分布式过来的，最好先把伪分布式的相关守护进程关闭：stop-all.sh


**2）**格式化的相关信息解读

–1. 生成一个集群唯一标识符:clusterid
–2. 生成一个块池唯一标识符:BlockPoolId
–3. 生成namenode进程管理内容(fsimage)的存储路径：
默认配置文件属性hadoop.tmp.dir指定的路径下生成dfs/name目录
–4. 生成镜像文件fsimage，记录分布式文件系统根路径的元数据
​
–5. 其他信息都可以查看一下，比如块的副本数，集群的fsOwner等。


参考图片：


![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMxLnpoaW1nLmNvbS84MC92Mi1hMzg4NjYyZmE4YzIzZjFhMjY0NDk2M2Q3OWQ3ODc0OF83MjB3LmpwZw?x-oss-process=image/format,png)


**3）**目录里的内容查看


![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMxLnpoaW1nLmNvbS84MC92Mi1iZDEzODliMTNmNWRlMzYyZWNlMTk4OTY4ZGExYmI4Y183MjB3LmpwZw?x-oss-process=image/format,png)


#### **9 启动集群**


**9.1** 启动脚本和关闭脚本介绍

  1. 启动脚本
    – start-dfs.sh :用于启动hdfs集群的脚本
    – start-yarn.sh :用于启动yarn守护进程
    – start-all.sh :用于启动hdfs和yarn

  2. 关闭脚本
    – stop-dfs.sh :用于关闭hdfs集群的脚本
    – stop-yarn.sh :用于关闭yarn守护进程
    – stop-all.sh :用于关闭hdfs和yarn

  3. 单个守护进程脚本
    – hadoop-daemons.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
    – hadoop-daemon.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
    reg:
    hadoop-daemon.sh [start|stop] [namenode|datanode|secondarynamenode]

    – yarn-daemons.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
    – yarn-daemon.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
    reg:
    yarn-daemon.sh [start|stop] [resourcemanager|nodemanager]


**9.2** 启动hdfs


**1）**使用start-dfs.sh，启动 hdfs。参考图片


![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMxLnpoaW1nLmNvbS84MC92Mi0wOTY0NDE4NjA3NDgxOWEwZWM1NGU1NGJjMDk1ZGUwMF83MjB3LmpwZw?x-oss-process=image/format,png)


**2）**启动过程解析：
  • 启动集群中的各个机器节点上的分布式文件系统的守护进程
    一个namenode和resourcemanager以及secondarynamenode
    多个datanode和nodemanager
  • 在namenode守护进程管理内容的目录下生成edit日志文件
  • 在每个datanode所在节点下生成${hadoop.tmp.dir}/dfs/data目录,参考下图：

![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMxLnpoaW1nLmNvbS84MC92Mi1iYzE3OGRkMGNlYzBlMGE0Yzc4NzAwNGIwZmM2ZTJiNF83MjB3LmpwZw?x-oss-process=image/format,png)


**注意，注意，注意**

如果哪台机器的相关守护进程没有开启，那么，就查看哪台机器上的守护进程对应的日志log文件,注意，启动脚本运行时提醒的日志后缀是*.out，而我们查看的是*.log文件。此文件的位置：${HADOOP_HOME}/logs/里


**3）**jps查看进程

–1. 在master上运行jps指令，会有如下进程
namenode
datanode
–2. 在slave1上运行jps指令，会有如下进程
secondarynamenode
datanode
–3. 在slave2上运行jps指令，会有如下进程
datanode


**9.3** 启动yarn


**1）**使用start-yarn.sh脚本，参考图片


![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi0zZjg0M2QzMTBkOWUzYmUzZjVhZjIwYjM2NTU0OTNhN183MjB3LmpwZw?x-oss-process=image/format,png)



本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。


最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。


最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！下面就开始进入正题，如何从一个萌新一步一步进入网络安全行业。


![](https://img-blog.csdnimg.cn/img_convert/311903982dea1d8a5d2c98fc271b5b41.jpeg)



### 学习路线图


 其中最为瞩目也是最为基础的就是网络安全学习路线图，这里我给大家分享一份打磨了3个月，已经更新到4.0版本的网络安全学习路线图。


相比起繁琐的文字，还是生动的视频教程更加适合零基础的同学们学习，这里也是整理了一份与上述学习路线一一对应的网络安全视频教程。


![](https://img-blog.csdnimg.cn/img_convert/1ddfaf7dc5879b1120e31fafa1ad4dc7.jpeg)


#### 网络安全工具箱


当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，你肯定需要学习各种工具的使用以及大量的实战项目，这里也分享一份**我自己整理的网络安全入门工具以及使用教程和实战。**


![](https://img-blog.csdnimg.cn/img_convert/bcd1787ce996787388468bb227d8f959.jpeg)


#### 项目实战


最后就是项目实战，这里带来的是**SRC资料&HW资料**，毕竟实战是检验真理的唯一标准嘛~


![](https://img-blog.csdnimg.cn/img_convert/35fc46df24091ce3c9a5032a9919b755.jpeg)


#### 面试题


归根结底，我们的最终目的都是为了就业，所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过！

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84520026
关注
专栏目录
Hadoop---HDFS安装
brggq的博客
09-21 1125
1.1 本地模式 特点 运行在单台机器上，没有分布式思想，使用的是本地文件系统 用途 用于对MapReduce程序的逻辑进行测试，确保程序的正确，由于在本地模式测试和调试MapReduce程序较为方便，因此，这种模式适宜在开发阶段。 环境的搭建：JDK的安装 1）检查是否已经安装过或内置JDK，如果有，将其卸载 rpm -qa | grep jdk #查找是否有jdk rmp -e xxxxxxxxx --nodeps #卸载jdk 2）上传自己的下载好的jdk 3）解压并更
2024年网安最全Hdfs安装模式之完全分布式集群_slave节点多了nodemanager少了(1)
2401_84264630的博客
05-01 1000
5.1 提取四个默认配置文件第一步：将hadoop安装包解压到pc端的一个目录下，然后在hadoop-2.7.6目录下创建一个default目录，用于存储默认配置文件。第二步：进入hadoop的share目录中的doc子目录，搜索default.xml。将以下四个默认的xml文件copy到default目录中，方便以后查看5.2 $HADOOP_HOME/etc/hadoop/目录下的用户自定义配置文件5.3 属性的优先级6.1 配置core-site.xml文件参考：core-default.xml。
HDFS安装
MOL
07-13 8131
文章目录HDFS安装HDFS启动格式化文件系统启动集群 HDFS安装 HDFS启动 格式化文件系统 [hadoop@hadoop000 ~]$ cd $HADOOP_HOME/bin [hadoop@hadoop000 bin]$ ls hadoop hadoop.cmd hdfs hdfs.cmd mapred mapred.cmd rcc yarn yarn.cmd 查看hdfs都有什么命令可以用： [hadoop@hadoop000 bin]$ hdfs Usage: hdfs
WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.
热门推荐
weixin_38763887的博客
01-25 1万+
这个问题可能是我第一个遇到吧，hadoop启动时WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.错误。 解决方案，在$ vim sbin/start-dfs.sh $ vim sbin/stop-dfs.s
hdfs安装
weixin_53589204的博客
03-29 888
/查看是否有(openssh-server + openssh-clients + openssh)这些yum安装包。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。4. 追加公钥到~/.ssh/authorized_keys文件中。
Hadoop HDFS 安装
liangyongyx的专栏
07-04 222
在主目录下创建app、software、data 三个目录 software 软件包目录 app 软件安装目录 data 数据目录 1.下载Hadoop CDH相关的软件下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 生产或者测试环境选择对应CDH版本时，一定要采用尾号是一样的版本，我这里采用 cdh-5.7.0.tar.gz 结尾的软件，可以先把后续的Hive、Hbase、Spark先下载好。 Linux下载命令 wget http:/..
2024年最新大数据技术原理与应用-林子雨版-课后习题答案
2401_84181403的博客
05-03 1141
答：①Pig是Hadoop生态系统的一个组件，提供了类似SQL的Pig Latin语言（包含Filter、GroupBy、Join、OrderBy等操作，同时也支持用户自定义函数），允许用户通过编写简单的脚本来实现复杂的数据分析，而不需要编写复杂的MapReduce应用程序，Pig会自动把用户编写的脚本转换成MapReduce作业在Hadoop集群上运行，而且具备对生成的MapReduce程序进行自动优化的功能，所以用户在编写Pig程序的时候，不需要关心程序的运行效率，这就大大减少了用户编程时间。
HDFS面试题总结
Biubiubiu!
02-21 2361
觉得有帮助的，请多多支持博主，点赞关注哦~ 文章目录HDFS面试题一、选择题1、下列哪项通常是集群的最主要瓶颈（C）2、下列哪项可以作为集群的管理？（B）3、下列哪个是Hadoop运行的模式？（ABC）4、HDFS 中的 block 默认保存几份？（A）5、HDFS 默认 BlockSize 是（C）6、Client 端上传文件的时候下列哪项正确？（B）7、下面哪个程序负责 HDFS 数据存储？（...
2024大数据面试题汇总(完善中。。。)
最新发布
为人性僻 语不惊人
06-18 1560
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
Hadoop分布式高可用HA集群搭建笔记（含Hive之构建），java类加载过程面试题
m0_63174618的博客
11-04 213
[]( )1.2.4 修改主机名 修改三台机器的/etc/hosts文件 加入如下内容。为了等下能在物理主机上访问HDFS web管理工具。还需要在本地进行该映射。不过在Windows下，要修改的是C:\Windows\System32\drivers\etc\hosts 这个文件一般来讲是不能直接编辑的，需要修改权限。 右键属性->安全->编辑 添加 把登录用户名写进去 添加写入权限 []( )1.2.5 脚本准备 这是一个批处理脚本，转载自网友“子墨良言” 通过它可以方便地在一整
HDFS详细安装文档
10-18
最新版的hdfs安装文档，详细的描述安装步骤，命令只需要copy执行即可，此安装的namenode是单体的
(1) HDFS安装与配置
allensandy的博客
04-24 2775
目录 准备 第一步 设置主机名 第二步 设置网络IP 第三步 添加主机名和IP的映射关系 第四步 关闭防火墙 第五步 创建hadoop用户 第六步 在master主机上下载hadoop3.1.4、jdk1.8 第七步 添加环境变量 第八步 设置免密登录 第九步 hadoop配置 第十步 拷贝hadoop文件和/etc/profile和jdk文件 第十一步 格式化及启动hadoop 准备 准备三台虚拟机(CentOS 7.6)，网络选择NAT模式 master 192.168.1
安装启动单机HDFS
qq_37436172的博客
05-05 275
前提，需要确保有java8的环境，并安装java并且配置环境变量然后执行source /etc/profile重载配置文件。
【Hadoop】Hadoop 安装（HDFS）
a6458360的博客
08-11 301
一、部署Java 创建三台虚拟机 部署Java 解压配置环境变量 具体安装步骤参考：手把手教你在Linux环境下安装JDK 1.8.0 二、配置SSH免密登录 目的是使用脚步启动远程服务器的启动，必须使用shell登陆远程服务，但每个登陆都需要输入密码就非常麻烦，所有需要配置无密配置，需要在NameNode上生成私钥，把公钥发给DataNode。 SSH基本原理 SSH之所以能够保证安全，原因在于它采用了公钥加密。过程如下： (1)远程主机收到用户的登录请求，把自己的公钥发给用户。 (2)用户使用这个
CentOS 6.6 安装 HDFS 2.7.1
Dean Chen的专栏
09-25 4762
本文尝试在CentOS上搭建10台HDFS集群，不会搭建YARN和Hive, 因为之后会采用Spark。先安装jdk 1.8, 此处不细说。下载首先下载hadoop binary包wget http://apache.mesi.com.ar/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz解压后放在/data/slot0/目录下，并建立软链接/data/
hadoop hdfs集群安装
辉兔子
04-01 267
hadoop配置对照表： 192.168.9.3 hdp01 namenode datanode 192.168.9.4 hdp02 datanode 192.168.9.5 hdp03 datanode 192.168.9.6 hdp04 datanode 创建上传软件存放目录 mkdir tools 创建hadoop软件存放目录 mkdir apps 1.配置ip地址： vim /etc/sysconfig/network-scripts/ifcfg-e...
HDFS完全分布式安装
C.W.J
05-02 1028
【步骤】 • 下载 • 解压 • 检查java环境和ssh的免密码登陆 • 修改core-site.xml • 修改hdfs-site.xml • 修改masters文件和slaves文件 • 复制hadoop配置文件到其他主机上 • 配置hadoop环境变量 • 格式化namenode • start-hdfs.sh启动 • 测试 准
【HDFS集群的安装与部署】
m0_66006426的博客
03-29 931
默认情况下，通过Namenodes定义的文件中重新读取数据节点的主机名 dfs.hosts ， dfs.hosts.exclude 中定义的主机 dfs.hosts 是属于集群的数据节点。总结：也就是说start-dfs.sh调用的是hadoop-daemon，而hadoop-daemon调用的是hadoop，hadoop调用的是一个个的java程序。目录（存放的是所有Hadoop下的架包以及对应的一些页的字节码）目录（存放的是一些hadoop的启动、命令脚本）目录（存放的是Hadoop的一些配置信息）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值