大数据(完全分布式)配置详解

最新推荐文章于 2024-07-15 17:09:54 发布
最新推荐文章于 2024-07-15 17:09:54 发布
阅读量3.8k 收藏 3
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40018205/article/details/81352677
版权

linux大数据

hadoop完全分布式

完全分布式

hadoop最大的优势就是分布式集群计算，所以在生产环境下都是搭建的最后一种模式：完全分布模式

技术准备

系统规划

搭建

测试

上线使用

完全分布式

系统规则

主机

角色

软件

192.168.6.10

master

NameNode

SecondaryNameNode

ResourceManager

HDFS

YARN

192.168.6.11

node1

DataNode

NodeManager

HDFS

YARN

192.168.6.12

node2

DataNode

NodeManager

HDFS

YARN

192.168.6.13

node3

DataNode

NodeManager

HDFS

YARN

[root@rootroom9pc01 ~]# cd /etc/libvirt/qemu/

[root@rootroom9pc01 qemu]# sed 's/demo/node10/' demo.xml > /etc/libvirt/qemu/node10.xml

[root@rootroom9pc01 qemu]# sed 's/demo/node11/' demo.xml > /etc/libvirt/qemu/node11.xml

[root@rootroom9pc01 qemu]# sed 's/demo/node12/' demo.xml > /etc/libvirt/qemu/node12.xml

[root@rootroom9pc01 qemu]# sed 's/demo/node13/' demo.xml > /etc/libvirt/qemu/node13.xml

[root@rootroom9pc01 qemu]# cd /var/lib/libvirt/images/

[root@rootroom9pc01 images]# qemu-img create -b node.qcow2 -f qcow2 node10.img 20G

[root@rootroom9pc01 images]# qemu-img create -b node.qcow2 -f qcow2 node11.img 20G

[root@rootroom9pc01 images]# qemu-img create -b node.qcow2 -f qcow2 node12.img 20G

[root@rootroom9pc01 images]# qemu-img create -b node.qcow2 -f qcow2 node13.img 20G

[root@rootroom9pc01 images]# cd /etc/libvirt/qemu/

[root@rootroom9pc01 qemu]# virsh define node10.xml

[root@rootroom9pc01 qemu]# virsh define node11.xml

[root@rootroom9pc01 qemu]# virsh define node12.xml

[root@rootroom9pc01 qemu]# virsh define node13.xml

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

ONBOOT=yes

IPV6INIT=no

BOOTPROTO=static

TYPE=Ethernet

IPADDR="192.168.6.10"

NETMASK="255.255.255.0"

GATEWAY="192.168.6.254"

[root@localhost ~]# halt -p

[root@localhost ~]# ifconfig | head -3

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500

inet 192.168.6.10 netmask 255.255.255.0 broadcast 192.168.6.255

[root@localhost ~]# hostnamectl set-hostname nn01

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

ONBOOT=yes

IPV6INIT=no

BOOTPROTO=static

TYPE=Ethernet

IPADDR="192.168.6.11"

NETMASK="255.255.255.0"

GATEWAY="192.168.6.254"

[root@localhost ~]# halt -p

[root@localhost ~]# hostnamectl set-hostname node1

[root@node1 ~]# ifconfig | head -3

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500

inet 192.168.6.11 netmask 255.255.255.0 broadcast 192.168.6.255

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

ONBOOT=yes

IPV6INIT=no

BOOTPROTO=static

TYPE=Ethernet

IPADDR="192.168.6.12"

NETMASK="255.255.255.0"

GATEWAY="192.168.6.254"

[root@localhost ~]# halt -p

[root@localhost ~]# hostnamectl set-hostname node2

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

ONBOOT=yes

IPV6INIT=no

BOOTPROTO=static

TYPE=Ethernet

IPADDR="192.168.6.13"

NETMASK="255.255.255.0"

GATEWAY="192.168.6.254"

[root@localhost ~]# hostnamectl set-hostname node3

[root@localhost ~]# halt -p

[root@nn01 ~]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.6.10 nn01 namenode,secondarynamenode

192.168.6.11 node1 datanode

192.168.6.12 node2 datanode

192.168.6.13 node3 datanode

 

[root@nn01 ~]# cat /etc/yum.repos.d/local.repo

[local_source]

name=CentOS Source

baseurl=ftp://192.168.6.254/centos7

enabled=1

gpgcheck=1

[root@nn01 ~]#

 

[root@nn01 hadoop]# pwd

/usr/local/hadoop/etc/hadoop

 

[root@nn01 ~]# vim /etc/ssh/ssh_config

Host *

GSSAPIAuthentication yes

StrictHostKeyChecking no

 

[root@node1 xx]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount oo xx

 

[root@node1 hadoop]# file share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar: Zip archive data, at least v1.0 to extract

 

[root@node1 hadoop]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar

 

[root@node1 hadoop]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount

Usage: wordcount <in> [<in>...] <out>

/local/hadoop/xx already exists

 

[root@nn01 hadoop]# cat core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://nn01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/var/hadoop</value>

</property>

</configuration>

[root@nn01 hadoop]# cat hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.http-address</name>

<value>nn01:50070</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>nn01:50090</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

[root@nn01 hadoop]# cat hadoop-env.sh

export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64/jre/"

export HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"

 

[root@nn01 hadoop]# cat slaves

node1

node2

node3

 

[root@node1 ~]# yum -y install java-1.8.0-openjdk-devel

[root@node1 ~]# yum -y install rsync-3.0.9-18.el7.x86_64

[root@node2 ~]# yum -y install rsync-3.0.9-18.el7.x86_64

[root@node2 ~]# yum -y install rsync-3.0.9-18.el7.x86_64

[root@rootroom9pc01 ~]# scp -r '/root/桌面/hadoop-2.7.6.tar.gz' 192.168.6.10:/root

[root@nn01 ~]# tar zxf hadoop-2.7.6.tar.gz

[root@nn01 ~]# mv hadoop-2.7.6 /usr/local/hadoop

[root@nn01 ~]# yum -y install java-1.8.0-devel

– ssh-keygen -b 2048 -t rsa -N '' -f key

– ssh-copy-id -i ./key.pub root@ip.xx.xx.xx

[root@nn01 .ssh]# mv key /root/.ssh/id_rsa

[root@nn01 hadoop]# yum -y install rsync-3.0.9-18.el7.x86_64

[root@nn01 hadoop]# for i in node{1..3};do

> rsync -aSH --delete /usr/local/hadoop ${i}:/usr/local/ -e 'ssh' &

> done

[root@node1 ~]# yum -y install rsync-3.0.9-18.el7.x86_64

[root@node2 ~]# yum -y install rsync-3.0.9-18.el7.x86_64

[root@node2 ~]# yum -y install rsync-3.0.9-18.el7.x86_64

[root@node1 ~]# ls /usr/local/hadoop

bin etc include lib libexec LICENSE.txt NOTICE.txt oo README.txt sbin share xx xx1

 

 

[root@nn01 bin]# chmod 755 rrr

[root@nn01 bin]# ls

container-executor hdfs mapred.cmd test-container-executor

hadoop hdfs.cmd rcc yarn

hadoop.cmd mapred rrr yarn.cmd

[root@nn01 bin]# ./rrr node{1..3}

[root@nn01 bin]# cat rrr

#!/bin/bash

for i in $@;do

rsync -aSH --delete /usr/local/hadoop ${i}:/usr/local/ -e 'ssh' &

done

wait

 

./bin/hdfs namenode –format

./sbin/start-dfs.sh

ssh node1 jps

./bin/hdfs dfsadmin -report

Live datanodes(3)

 

 

http://hadoop.apache.org/

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

hadoop.tmp.dir /tmp/hadoop-${user.name}

 

 

 

 

 

 

 

 

 

 

乐于技术分享
关注
Hadoop完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2964
要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。(1）学会hadoop完全分布式配置 (2）理解完全分布式配置的配置文件本次环境是：Ubuntu16.04 + jdk1.8.0_73+hadoop-2.7.3Hadoop 集群的安装配置大致为如下流程:   选定一台机器作为 master，在 master 节点上安装 Hadoop，配置网
Hadoop完全分布式配置
sailing124856的博客
04-11 1520
Hadoop完全分布式配置环境准备Hadoop3.2.1VMwork+Centos7VMwork安装Linux系统（centos7）网络配置(centos7)二级目录三级目录 centos7+VMwork+Hadoop3.2.1+JDK 准备三台客户机（静态ip、关闭防火墙、主机名称） 环境准备 Hadoop3.2.1 进入Apache hadoop官网，选择hadoop 3.2.1 Binary...
大数据运维配置：jdk，hadoop,mysql,hive过程
weixin_68264962的博客
04-03 208
2.在/opt/software下创建目录masql，就将mysql-5.7.28-1.el7.x86_64.rpm-bundle .tar放进去。注意：修完把mysql-connector-java-5.1.37.jar包拉进/opt/software/hive-3.1.2/lib/把apache-hive-3.1.2-bin.tar.gz放进/opt/software下。1.解压apache-hive-3.1.2-bin.tar.gz到/opt/software/
大数据(五) --完全分布式搭建
10-13 139
说明 搭建之前, 先根据HDFS三种模式一文将集群的初始环境配置OK. 完全分布式搭建 在node01节点上将上传的Hadoop压缩包解压 这里我将文件解压到/opt/software/hadoop文件夹下. tar -zxf hadoop-2.6.5.tar.gz -C /opt/software/hadoop 进入配置文件修...
大数据学习——Hadoop集群完全分布式的搭建
Linux运维老纪的博客
07-11 1187
Hadoop集群是一种分布式的计算平台，用来处理海量数据，它的两大核心组件分别是HDSF文件系统和分布式计算处理框架mapreduce。HDFS是分布式存储系统，其下的两个子项目分别是namenode和datanode;namenode管理着文件系统的命名空间包括元数据和datanode上数据块的位置，datanode在本地保存着真实的数据。它们都分别运行在独立的节点上。本章详细讲解hadoop集群部署。
大数据环境配置-Hadoop、Kafka、Hive、redis、Navicat
最新发布
m0_72791092的博客
07-15 706
本文目的主要是理清逻辑，整理相关概念，主要为了知其所以然，会附上本人实践过程参考的文章以及本人踩的一些坑。Kafka可以用于实时数据流的收集，然后将数据存储到Hadoop集群中；Hive可以用于对这些数据进行查询和分析；而Zookeeper则可以用于这些组件之间的协调和状态管理。
大数据软件配置
张常文的博客
11-02 573
最近在做大数据的东西，配置了下虚拟机和在centos下安装软件，中间出了点错误，在此备忘。 1.安装vmware 我就直接在搜狗浏览器中搜索了一下，我下的是12版的。地址：http://xiazai.sogou.com/detail/34/13/3543595921374893595.html?e=1970 安装是参照百度经验。注册码：VF58R-28D9P-0882Z-5GX7G-
大数据 hadoop
爱驹一族的博客
08-12 448
1.课前资料 https://pan.baidu.com/s/1N2MZEvKxnsBjz6rh0Xkpmw 提取码：44u3 2.课程整体介绍 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fxJ90a9K-1628748843757)(day01_hadoop.assets/1628589606864.png)] 3.大数据介绍 什么是大数据？ 简单来说大数据就是海量数据及其处理。 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据
Zookeeper完全分布式模式配置
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-26 657
本实验任务主要完成基于ubuntu环境的搭建Zookeeper完全分布式模式配置工作。通过完成本实验任务，要求学生熟练掌握Zookeeper完全分布式模式配置的方法，为后续实验的开展奠定zookeeper平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Zookeeper完全分布式模式的环境搭建Ubuntu(三台节点:mater：192.168.0.3,slave1：192.168.0.2,slave2：192.168.0.4)、Zookeeper3.4.5A
Ubuntu 完全分布式及hive远程安装详解
09-01
【Ubuntu完全分布式及Hive远程安装详解】 在大数据处理领域，Apache Hive是一个广泛使用的数据仓库工具，它允许用户使用SQL（HQL）查询Hadoop集群中的数据。本篇将详细介绍如何在Ubuntu操作系统上进行Hive的完全...
hadoop完全分布式安装、配置，详解
天下攘攘，皆为利往
07-06 406
构建集群，分布式安装hadoop，配置相关文件。
整套大数据搭建配置文件
07-25
这是一套完整的集群搭建配置文件，包含了hadoop所有组件有：Hadoop，zookeeper，Kafka，spark，flume，Scala，hive等安装配置文件
大数据 hadoop完全分布4台搭建全过程
04-06
这是我自己一步一步搭建的过程，4台虚拟机 双namenode 涉及 ftp zookeper hadoop,等每一步就是测试过的
大数据学习-大数据环境配置
WeixinX_的博客
09-05 875
hadoop环境配置 前置：配置三台CentOS7的机器组成简单的集群 工具：VMware 11 、Xshell、Xftp 压缩包：hadoop-2.6.0-cdh5.14.2.tar.gz ​ jdk-8u141-linux-x64.tar.gz ​ zookeeper-3.4.5-cdh5.14.2.tar.gz 文章目录hadoop环境配置一、前置配置1、IP配置2、关闭防火墙3、关闭selinux4、更改主机名5、连接Xshell6、更改主机名与IP地址映射7、同步时间8、定义同一目录二
大数据组件配置、部署
Z_ZzZzZzZzZzZz的博客
05-02 1861
依次点击 编辑虚拟机设置->CD/DVD->使用ISO镜像->浏览，选择下载的centos7的iso文件后点击确定。Hive ThriftServer方式（不可以直接写SQL，需要外部客户端连接使用）（进入文件后按i输入，esc退出输入，:q不报存退出，:wq保存并退出）直接下载好的jar文件通过finalShell上传至目标位置。直接下载好的文件通过finalShell上传至目标位置。后续依次下一步确定即可（可自行设置虚拟机的硬件配置）点击完成后，左侧‘我的计算机’显示刚安装的虚拟机。
大数据学习连载03篇：分布式技术（集群、负载、弹性、故障等知识点）
黑马程序员官方博客
03-29 1023
分布式技术 一、为什么需要分布式 （1）计算问题 无论是我们在学校刚开始学编程，还是在刚参加工作开始处理实际问题，写出来的程序都是很简单的。因为面对的问题很简单。以处理数据为例，可能只是把一个几十K的文件解析下，然后生成一个词频分析的报告。很简单的程序，十几行甚至几行就搞定了。 直到有一天，给你扔过来1000个文件，有些还特别大，好几百M了。你用之前的程序一跑，发现跑的时间有点长。于是想要去优化下。1000 个文件，互相还没业务联系，用多线程呀，一个线程处理一个文件，结果再汇总就搞定了。如果多线程效
大数据之配置环境（主从机配置）
hyy_blog
03-01 1105
大数据之配置环境 创建主从机的步骤（包括你配置主机的ip，子网掩码，dns等，以及从机的主机名和ip，建立通信） 1.主机（master）的配置 主机的配置内容（ip，dns，gateway，mask） 查看该目录下的文件，主要查看网卡的类型（有的人的网卡不是eth0，而是ens33，这先留一个疑问，在文章的最后会附录怎样解决这个问题，也不一定是ens...
大数据环境配置浅谈一
weixin_44431083的博客
01-08 328
大数据环境配置浅谈一 三台虚拟机创建并联网 推荐方式:通过直接复制安装后的安装文件，然后更改mac地址与ip地址也可以实现虚拟机的快速创建 注意事项:windows系统确认所有的关于VmWare的服务都已经启动， 确认好VmWare生成的网关地址，另外确认VmNet8网卡已经配置好了IP地址 将我们安装后的文件夹直接复制一份出来 将我们的Centos6.9_001这个文...
大数据环境配置专题
wm1992313的博客
08-07 380
环境配置总纲：首先确保各个机器能够互相ping通，配置本地的yum源（为了在没有外网的情况下也能正常安装一些包），然后将hadop的jiar包解压至目录，在配置hadoop前，最好先设置机器之前的免密登陆否则hadoop的nodemanager和yarn的resourcemannager无法正常使用，在配置免密登陆时，注意最好普通用户的免密登陆和root用户的免密登陆都要配置。在第一次启动hado...
Hadoop2.2.0完全分布式集群配置步骤详解
"Hadoop2.2.0完全分布式集群平台的安装与配置教程，包括前提条件、步骤和静态IP设置" 在大数据处理领域，Hadoop是一个至关重要的开源框架，它允许在廉价硬件上进行大规模数据处理。Hadoop 2.2.0是其一个稳定版本，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

乐于技术分享

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值