天水水各一方-CSDN博客

原创 hadoop完全分布式模式（2）集群免密配置

集群单点启动在每个节点上分别启动下边表格的进程：Hadoop100：hdfs --daemon start namenodehdfs --daemon start datanodeyarn --daemon start nodemanagerhadoop101： yarn --daemon start resourcemanagerhdfs --daemon start datanodeyarn --daemon start nodemanagerhadoop102： .

2021-12-14 11:51:55 206

原创 hadoop完全分布式模式（1）

集群配置注意：NameNode和SecondaryNameNode不要安装在同一台服务器（2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到）注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。核心配置文件配置：hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）Linux系统中获取JDK的安装路径：[soft863@ hadoop100 ~]#

2021-12-12 15:32:15 76

原创 hadoop的安装包目录结构

binHadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。etcHadoop配置文件所在的目录include对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。lib该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。libexec各个服务对用的shell.

2021-12-12 14:46:08 1927

原创 hadoop集群规划与环境搭配

角色规划的准则根据软件工作特性和服务器硬件资源情况合理分配比如依赖内存工作的NameNode是不是部署在大内存机器上？3. 角色规划注意事项资源上有抢夺冲突的，尽量不要部署在一起工作上需要互相配合的。尽量部署在一起...

2021-12-12 14:32:47 2296

原创 centos安装与windows网络配置笔记整理

安装虚拟机（CentOS）修改主机名（当前虚拟机的主机名）查看当前的主机名命令：hostname修改主机名命令：vi /etc/hostname（1）一定要在vi的命令模式下（在编辑模式下按esc键）:wq保存退出:wq!强制保存退出:q退出:q!强制退出（2）编辑模式下：i当前光标所在的位置。启动–命令：reboot -h now补充：第二种修改主机名的方式Hostnamectl set -hostname <自己编写的主机名>Bash修改i..

2021-12-09 15:27:06 117

原创 hadoop源码编译笔记整理总结－转载

安装包、源码包下载地址https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/为什么要重新编译Hadoop源码?匹配不同操作系统本地库环境，Hadoop某些操作比如压缩、IO需要调用系统本地库（.so|.dll）修改源码、重构源码 如何编译Hadoop源码包根目录下文件：BUILDING.txt详细步骤参考附件图片资料课程已提供编译好的Hadoop安装包名称hadoop-3.3.0-Centos7-64-w.

2021-12-09 14:52:53 860

weixin_62563383的博客