Hadoop-HDFS的伪分布式和完全分布式集群搭建

转自：  https://blog.csdn.net/mhw666/article/details/91610598

CentOS 7 下使用yum安装MySQL5.7.20，并设置开启启动:  https://blog.csdn.net/lz6363/article/details/91883885

Spring事务管理全面分析: https://blog.csdn.net/LOYE_YOU/article/details/91615228

Docker学习-3: 用dockerfile制作镜像: https://blog.csdn.net/huweijun_2012/article/details/91612956

SQL语句知识整理: https://blog.csdn.net/weixin_43606158/article/details/91884859

MySQL操作数据库和表的基本语句（DDL）:   https://blog.csdn.net/weixin_44420511/article/details/91884834

判断是否为数组:  https://blog.csdn.net/weixin_43858880/article/details/91612023

效率提高N倍的19条MySQL优化秘籍:  https://blog.csdn.net/Ki8Qzvka6Gz4n450m/article/details/94366728

Web 安全漏洞之文件上传:  https://blog.csdn.net/qihoo_tech/article/details/94593292

微服务不是全部，只是特定领域的子集:  https://blog.csdn.net/lycyingO/article/details/88661570

工作中常见的五种技术leader: https://blog.csdn.net/xiexiaojing/article/details/94593243

数据库允许空值(null)，往往是悲剧的开始（1分钟系列）: https://blog.csdn.net/shenjian58/article/details/94593253

linux中怎样从底部向上查看log文件: https://blog.csdn.net/m0_37606574/article/details/94729130

JavaScript基础知识全总结: https://blog.csdn.net/qq_39043923/article/details/89204263

js移动端跳转代码: https://blog.csdn.net/cplvfx/article/details/94729170

阿里云服务器绑定域名: https://blog.csdn.net/u012149906/article/details/94729252

表单数据回填: https://blog.csdn.net/weixin_44543307/article/details/94729192

亿级用户体量，千万级日活用户，《王者荣耀》高并发背后的故事: https://blog.csdn.net/g6U8W7p06dCO99fQ3/article/details/94593069

云计算之k8s系列_第七回: https://blog.csdn.net/mx_steve/article/details/94717422

高可用Docker容器云在58集团的实践: https://blog.csdn.net/g6U8W7p06dCO99fQ3/article/details/94593066

Spark 源码分析（七）: DAGScheduler 源码分析1（stage 划分算法）: https://blog.csdn.net/Zzz_Zzz_Z/article/details/94574324

 

idea中免费永久jrebel 激活: https://blog.csdn.net/qq_37252930/article/details/94725053

一个高度近视眼的深度学习实践: https://blog.csdn.net/qq_44762698/article/details/94585013

微服务VS集中服务: https://blog.csdn.net/liuqianduxin/article/details/82862686

单点登录和登出: https://blog.csdn.net/liuqianduxin/article/details/83057018

并行转成串行（多生产者单消费者顺序消费）: https://blog.csdn.net/liuqianduxin/article/details/90546870

物流系统高可用架构案例: https://blog.csdn.net/g6U8W7p06dCO99fQ3/article/details/94683020

JQuery-传送formdata对象给后台-1.1: https://blog.csdn.net/caishu1995/article/details/94725831

没拿到钱，我把客户的项目开源了: https://blog.csdn.net/P5dEyT322JACS/article/details/91442282

数据库-事务&存储引擎&锁: https://blog.csdn.net/Fly_Fly_Zhang/article/details/94380238

python 实现操作sql server数据库: https://blog.csdn.net/Hu_wen/article/details/94616776

Docker最佳实践：5个方法精简镜像:  https://blog.csdn.net/pengzhouzhou/article/details/94645876

马蜂窝支付中心架构演进: https://blog.csdn.net/weixin_43846997/article/details/94689871

MyBatis的增删改查操作: https://blog.csdn.net/Theniceday_99/article/details/91611105

Zookeeper之ACL和进程协作: https://blog.csdn.net/qq_33890533/article/details/91612182

机器学习的激励函数的故事: https://blog.csdn.net/zjguilai/article/details/91608082

LinuxA机器与B机器创建互信: https://blog.csdn.net/sinat_34289015/article/details/91610358

架设Zookeeper集群尝试: https://blog.csdn.net/qq_33890533/article/details/91609434

【安全测试】sql注入-get请求&post请求: https://blog.csdn.net/q_Catherine/article/details/91610237

C3P0连接池工具类实现步骤及方法: https://blog.csdn.net/qq_45112637/article/details/91610136

Linux按键驱动程序设计(4)-中断分层技术: https://blog.csdn.net/qq_22847457/article/details/91400780

【安全测试】sql注入-sqlmap使用:  https://blog.csdn.net/q_Catherine/article/details/91609782

mybatis_generator-gui生成代码的一些总结: https://blog.csdn.net/Com_ma/article/details/91608516

docker swarm集群部署: https://blog.csdn.net/weixin_42446031/article/details/91608587

vsftpd.conf配置文件: https://blog.csdn.net/qq_40732093/article/details/91609641

2019.6.11 Linux常用系统工作指令学习及使用: https://blog.csdn.net/weixin_45094017/article/details/91465134

制作Ubuntu16.04系统安装的U盘: https://blog.csdn.net/kellyroslyn/article/details/91607888

Java Web数据库篇之Redis特性: https://blog.csdn.net/zangdaiyang1991/article/details/91464488

Oracle进阶学习2:SQL语句执行过程: https://blog.csdn.net/a1720119024/article/details/91462363

使用VMware workstation虚拟机软件安装Linux配置NAT网络: https://blog.csdn.net/hopelgl/article/details/91464811

通过kafka发送和接收消息: https://blog.csdn.net/qq_22331931/article/details/91463333

Hadoop完全分布式集群搭建（一）: https://blog.csdn.net/qq_33890533/article/details/91464492

springboot配置多数据源（JdbcTemplate方式）: https://blog.csdn.net/xunjiushi9717/article/details/91402167

 

Redis 的主从搭建架构:   https://blog.csdn.net/qq_42370150/article/details/91402087

IntelliJ IDEA 代码字体大小的快捷键设置放大缩小（很实用）（图文详解）: https://blog.csdn.net/nuoyanli/article/details/91607534

Oracle查看执行计划的三种方法:  https://blog.csdn.net/leo__1990/article/details/91401407

Html+CSS 登录页面:  https://blog.csdn.net/sakenc/article/details/91465144

分布式锁----浅析redis实现: https://blog.csdn.net/yueloveme/article/details/91400682

十种程序语言教你读懂大数据潜在价值:  https://blog.csdn.net/sdddddddddddg/article/details/91402164

调用OpenOffice将word格式文件转换为pdf格式: https://blog.csdn.net/IManiy/article/details/91401398

Linux结构，ls命令，cd命令，绝对路径和相对路径，命令类型，环境变量:  https://blog.csdn.net/weixin_44770482/article/details/91399740

 

Hadoop环境搭建(单机): https://blog.csdn.net/xingkongtianma01/article/details/91401525

计算机网络（十九）其他IP相关技术:  https://blog.csdn.net/NEUChords/article/details/91397250

mybatis+oracle 完成插入数据库，并将主键返回的注意事项: https://blog.csdn.net/qq_40918324/article/details/91397581

Java Web数据库篇之MySQL特性: https://blog.csdn.net/zangdaiyang1991/article/details/91397998

云计算介绍 TCP IP协议及配置、linux系统简介:  https://blog.csdn.net/flowers_dog/article/details/91399302

kafka发送消息的三种方式: https://blog.csdn.net/zxc19854/article/details/91400396

Linux三剑客 grep sed awk 详细使用方法: https://blog.csdn.net/vanvan_/article/details/91397655

关于大数据的一些简单了解: https://blog.csdn.net/cuiyiyinga/article/details/91400352

后端人员如何快速上手css（flex布局）: https://blog.csdn.net/qq_39552993/article/details/91463118

Linux之常用Shell脚本总结: https://blog.csdn.net/Weixiaohuai/article/details/91398675

人机交互系统（2.1）——深度学习分布式计算框架: https://blog.csdn.net/lzc4869/article/details/94663616

谈谈软件行业普遍存在的`立即数`和`引用数`: https://blog.csdn.net/github_38885296/article/details/94614882

node.js——sequelize-auto模块生成数据库models及使用:  https://blog.csdn.net/sm9sun/article/details/94616729

 

Hadoop-HDFS
HDFS伪分布式集群搭建步骤
一、配置免密登录

ssh-keygen -t rsa
1
一句话回车到底

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
1
跟随提示进行，一般需要yes确认之后输入一次密码就成功了
如果没配置免密登录的话，会出现登录和退出HDFS时，所有节点都需要输一遍密码。(本人亲身实践，虽然还是启动成功了)

二、上传jdk和hadoop压缩包
可以使用ftp或者使用命令rz

yum install lrzsz -y
1
三、解压jdk和hadoop压缩包
建议可以解压到统一的目录下
tar -zxvf 压缩包名
四、配置环境变量

export JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin

必须让环境变量生效，代码如下:

source /etc/profile
1
PS：用户变量 .bashrc
系统变量    /etc/profile
系统操作命令(文件的增删改查)    bin
系统管理命令(集群的启动、关闭)    sbin
hadoop配置信息    etc/hadoop
五、修改配置文件
① slaves配置Datanode节点
② 修改hdfs-site.xml

//设置备份个数
            <property>
                <name>dfs.replication</name>     
                <value>1</value>
            </property>
     //secondaryNamenode
            <property>     
                   <name>dfs.namenode.secondary.http-address</name>  
                   <value>node01:50090</value>
               </property>

③ 修改core-site.xml

//namenode
           <property>
                <name>fs.defaultFS</name>            
                <value>hdfs://node01:9000</value>    
            </property>
         //namenode启动后产生的信息
         <property>
             <name>hadoop.tmp.dir</name>          
             <value>/var/abc/hadoop/local</value>
         </property>

④ 把*-env.sh的文件内部所有的java路径改为绝对路径
六、格式化
让所有文件生效，此命令在/opt/software/hadoop/bin目录下

hdfs namenode -format
1
七、启动命令
此命令在/opt/software/hadoop/sbin目录下

./start-dfs.sh
1
八、配置hadoop的环境变量
配置完这两条环境变量之后，可以在任意目录下启动Hadoop集群

export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2
九、操作HDFS文件系统
创建根目录，首先要写换到hadoop的bin目录下

./hdfs dfs -mkdir -p /user/root
1
通过命令hdfs dfs -put 文件名或目录名，上传文件

十、本人在配置时出现的一些问题
/etc/hosts中的网络映射信息必须配置对
配置完环境变量后必须使用source /ect/profile使它生效

HDFS完全分布式集群配置
我是这么做的：
先克隆一台虚拟机，进行一下操作
一、修改hdfs-site.xml配置文件
value的数量不能超过节点数
第二个property标签配置的是secondarynamenode，节点要和主节点Namenode不同

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>   
  
 <name>dfs.namenode.secondary.http-address</name>
     <value>node02:50090</value>
</property>

二、修改core-site.xml配置文件
第一个property标签是配置主节点Namenode
第二个property标签是配置集群启动时产生的信息

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/cluster</value>
</property>

三、修改slaves配置文件
修改主节点的slaves配置文件如下

node02 
node03 
node04
1
2
3
进行完这三个操作后再克隆三台虚拟机，然后配置各自的网络
四、配置网络

（之后补充）大概就是修改/ect/sysconfig/network的主机名，修改/ect/sysconfig/network-scripts/ifcfg-eth0中的IP地址，IPADDR修改为此虚拟机的IP，GATEWAY和DNS1为虚拟机的网关，DNS2随意，如下图也行，
修改完成后使用命令service network restart重启网卡，如果还有问题就删掉第二行和地四行，删掉之后若还有问题，请自行百度

，删除rm -rf /etc/udev/rules.d/70-persistent-net.rules文件，重要的事情说三遍！
重启虚拟机！！！！！！！！！！！！！！
重启虚拟机！！！！！！！！！！！！！！
重启虚拟机！！！！！！！！！！！！！！

在各自的/ect/hosts目录下配置四台虚拟机的网络映射
代码可以参照如下:
注意：IP不可以冲突，必须每台虚拟机都配置

192.168.145.131    node01
192.168.145.132    node02
192.168.145.133    node03
192.168.145.134    node04

五、格式化
让所有文件生效，此命令在/opt/software/hadoop/bin目录下

hdfs namenode -format
1
六、启动命令
此命令在主节点/opt/software/hadoop/sbin目录下

./start-dfs.sh
--------------------- 
作者：MKing1994 
来源：CSDN 
原文：https://blog.csdn.net/mhw666/article/details/91610598 
版权声明：本文为博主原创文章，转载请附上博文链接！