企业项目实战hadoop篇---hadoop安装部署（一）

最新推荐文章于 2024-05-11 22:24:59 发布
最新推荐文章于 2024-05-11 22:24:59 发布
阅读量1k 收藏 2
点赞数
分类专栏： linux学习 hadoop 文章标签： 分布式 hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42003848/article/details/119718800
版权

hadoop安装部署

一.hadoop简介

HDFS是一个高度容错性的分布式文件系统，可以被广泛的部署于廉价的PC上。它以流式访问模式访问应用程序的数据，这大大提高了整个系统的数据吞吐量，因而非常适合用于具有超大数据集的应用程序中。
HDFS的架构如图所示。HDFS架构采用主从架构（master/slave）。一个典型的HDFS集群包含一个NameNode节点和多个DataNode节点。NameNode节点负责整个HDFS文件系统中的文件的元数据的保管和管理，集群中通常只有一台机器上运行NameNode实例，DataNode节点保存文件中的数据，集群中的机器分别运行一个DataNode实例。在HDFS中，NameNode节点被称为名称节点，DataNode节点被称为数据节点。DataNode节点通过心跳机制与NameNode节点进行定时的通信。

在这里插入图片描述
分布式存储系统HDFS （Hadoop Distributed File System ）POSIX 分布式存储系统 提供了 高可靠性、高扩展性和高吞吐率的数据存储服务 分布式计算框架MapReduce 分布式计算框架（计算向数据移动） 具有 易于编程、高容错性和高扩展性等优点。 分布式资源管理框架YARN（Yet Another Resource Management） 负责集群资源的管理和调度。

二.安装hadoop

准备hadoop软件压缩包及提供支持的jdk压缩包

[root@server1 ~]# ls
anaconda-ks.cfg  hadoop-3.2.1.tar.gz  jdk-8u181-linux-x64.rpm

创建hadoop用户，将压缩文件移动至hadoop用户家目录下

[root@server1 ~]# useradd hadoop
[root@server1 ~]# mv * /home/hadoop/
[root@server1 ~]# su - hadoop 
[hadoop@server1 ~]$ ls
anaconda-ks.cfg  hadoop-3.2.1.tar.gz  jdk-8u181-linux-x64.rpm

解压压缩文件，创建java hadoop软连接

[hadoop@server1 ~]$ ls
anaconda-ks.cfg  hadoop-3.2.1.tar.gz  jdk-8u181-linux-x64.tar.gz
[hadoop@server1 ~]$ tar zxf jdk-8u181-linux-x64.tar.gz 
[hadoop@server1 ~]$ ls
anaconda-ks.cfg  hadoop-3.2.1.tar.gz  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz
[hadoop@server1 ~]$ ln -s jdk1.8.0_181/ java
[hadoop@server1 ~]$ ls
anaconda-ks.cfg      java          jdk-8u181-linux-x64.tar.gz
hadoop-3.2.1.tar.gz  jdk1.8.0_181
[hadoop@server1 ~]$ tar zxf hadoop-3.2.1.tar.gz 
[hadoop@server1 ~]$ ls
anaconda-ks.cfg  hadoop-3.2.1.tar.gz  jdk1.8.0_181
hadoop-3.2.1     java                 jdk-8u181-linux-x64.tar.gz
[hadoop@server1 ~]$ ln -s hadoop-3.2.1 hadoop
[hadoop@server1 ~]$ ls
anaconda-ks.cfg  hadoop-3.2.1         java          jdk-8u181-linux-x64.tar.gz
hadoop           hadoop-3.2.1.tar.gz  jdk1.8.0_181

在这里插入图片描述
进入hadoop目录，配置hadoop环境，指定hadoop及java位置

[hadoop@server1 ~]$ cd hadoop
[hadoop@server1 hadoop]$ cd etc/hadoop/
[hadoop@server1 hadoop]$ vim hadoop-env.sh

在这里插入图片描述
创建input目录，拷贝etc/haadoop/*.xml文件
在这里插入图片描述
执行测试命令，使用hadoop-mapreduce-example示例文件
在这里插入图片描述
测试命令，抓取input目录中含dfs的字段，并保存到output目录下

[hadoop@server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar  grep input output 'dfs[a-z.]+'

在这里插入图片描述
查看output内容
在这里插入图片描述

三.部署伪分布式hadoop

指定worker localhost

[hadoop@server1 hadoop]$ cat workers 
localhost

修改core-site.xml ,设置localhost：9000访问hdfs

[hadoop@server1 hadoop]$ cd /hadoop/etc/hadoop/
[hadoop@server1 hadoop]$ vim core-site.xml

在这里插入图片描述

修改hdfs-site.xml，设置分布节点数为1

[hadoop@server1 hadoop]$ vim hdfs-site.xml

在这里插入图片描述
生成ssh密钥

[hadoop@server1 hadoop]$ ssh-keygen 
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): 
Created directory '/home/hadoop/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:ROXTsvFYZX+cgN+n5imW+Jtc75WXm0FIjDPZCuaZGkU hadoop@server1
The key's randomart image is:
+---[RSA 2048]----+
|        .E. ..o  |
|       ... o=o.o.|
|        .+==++..+|
|       .+ +O=...o|
|       .S+o... o.|
|        o     + o|
|       .   . +.=o|
|          ..+oo.*|
|           o=o +o|
+----[SHA256]-----+

设置hadoop密码为westos

[root@server1 ~]# passwd hadoop
Changing password for user hadoop.
New password: 
BAD PASSWORD: The password is shorter than 8 characters
Retype new password: 
passwd: all authentication tokens updated successfully.

设置localhost免密登陆

[hadoop@server1 ~]$ ssh-copy-id  loaclhost
/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/home/hadoop/.ssh/id_rsa.pub"
/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed

/bin/ssh-copy-id: ERROR: ssh: Could not resolve hostname loaclhost: Name or service not known

[hadoop@server1 ~]$ ssh-copy-id  localhost
/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/home/hadoop/.ssh/id_rsa.pub"
The authenticity of host 'localhost (::1)' can't be established.
ECDSA key fingerprint is SHA256:Qwz6cDDE7GvLYqOWEwNiW4Wf8PBLrLVAYYuHmU8d9Ds.
ECDSA key fingerprint is MD5:f7:84:ee:41:4e:97:1b:f3:28:d7:f5:63:71:d0:6b:06.
Are you sure you want to continue connecting (yes/no)? yes
/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
hadoop@localhost's password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'localhost'"
and check to make sure that only the key(s) you wanted were added.

测试免密登陆

[hadoop@server1 ~]$ ssh localhost
Last login: Sat Aug 14 23:13:02 2021
[hadoop@server1 ~]$ logout
Connection to localhost closed.

hadoop初始化

[hadoop@server1 ~]$ cd hadoop
[hadoop@server1 hadoop]$ bin/hdfs namenode -format
WARNING: /home/hadoop/hadoop/logs does not exist. Creating.
2021-08-14 23:14:41,913 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = server1/172.25.3.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 3.2.1
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at server1/172.25.3.1
************************************************************/

执行hdfs启动脚本

[hadoop@server1 hadoop]$ sbin/start-dfs.sh
Starting namenodes on [localhost]
Starting datanodes
Starting secondary namenodes [server1]
server1: Warning: Permanently added 'server1,172.25.3.1' (ECDSA) to the list of known hosts.

将jps命令放入全局变量，执行jps查看hadoop部署信息

[hadoop@server1 ~]$ vim .bash_profile 
[hadoop@server1 ~]$ source .bash_profile

在这里插入图片描述

在这里插入图片描述

访问172.25.3.1:9870

在这里插入图片描述
可以查看到节点信息
在这里插入图片描述
节点信息
在这里插入图片描述
测试，创建 分布式用户目录/user/hadoop，导入input

[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /user
[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /user/hadoop
[hadoop@server1 hadoop]$ id
uid=1000(hadoop) gid=1000(hadoop) groups=1000(hadoop)
[hadoop@server1 hadoop]$ bin/hdfs dfs -ls
[hadoop@server1 hadoop]$ bin/hdfs dfs -put input/
2021-08-14 23:24:16,978 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-08-14 23:24:17,575 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-08-14 23:24:17,599 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-08-14 23:24:18,029 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-08-14 23:24:18,055 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-08-14 23:24:18,501 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-08-14 23:24:18,931 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-08-14 23:24:18,959 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-08-14 23:24:18,988 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

查看导入目录

[hadoop@server1 hadoop]$ bin/hdfs dfs -ls input/
Found 9 items
-rw-r--r--   1 hadoop supergroup       8260 2021-08-14 23:24 input/capacity-scheduler.xml
-rw-r--r--   1 hadoop supergroup        774 2021-08-14 23:24 input/core-site.xml
-rw-r--r--   1 hadoop supergroup      11392 2021-08-14 23:24 input/hadoop-policy.xml
-rw-r--r--   1 hadoop supergroup        775 2021-08-14 23:24 input/hdfs-site.xml
-rw-r--r--   1 hadoop supergroup        620 2021-08-14 23:24 input/httpfs-site.xml
-rw-r--r--   1 hadoop supergroup       3518 2021-08-14 23:24 input/kms-acls.xml
-rw-r--r--   1 hadoop supergroup        682 2021-08-14 23:24 input/kms-site.xml
-rw-r--r--   1 hadoop supergroup        758 2021-08-14 23:24 input/mapred-site.xml
-rw-r--r--   1 hadoop supergroup        690 2021-08-14 23:24 input/yarn-site.xml

在这里插入图片描述
在这里插入图片描述

测试命令

[hadoop@server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar  wordcount input output

[hadoop@server1 hadoop]$ bin/hdfs dfs -ls output
Found 2 items
-rw-r--r--   1 hadoop supergroup          0 2021-08-14 23:29 output/_SUCCESS
-rw-r--r--   1 hadoop supergroup       9351 2021-08-14 23:29 output/part-r-00000

在这里插入图片描述
在这里插入图片描述

四.部署分布式hadoop

执行脚本，停止hdfs ！！！！！

[hadoop@server1 hadoop]$ sbin/stop-dfs.sh

server1/2/3安装nfs

[hadoop@server1 hadoop]$ yum install -y nfs-utils

server2/3创建hadoop用户
在这里插入图片描述

server1配置网络共享 /home/hadoop

[root@server1 ~]# cat /etc/exports
/home/hadoop    *(rw,anonuid=1000,anongid=1000)

在这里插入图片描述

[root@server1 ~]# vim /etc/exports
[root@server1 ~]# systemctl  enable  --now nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
[root@server1 ~]# showmount -e
Export list for server1:
/home/hadoop *

挂载172.25.3.1:/home/hadoop/ 到hadpood用户家目录下

[root@server5 ~]# mount 172.25.3.1:/home/hadoop/ /home/hadoop/

在这里插入图片描述

server2/3挂载nfs后，主机可以免密登陆，测试免密

[hadoop@server1 hadoop]$ ssh server2
The authenticity of host 'server2 (172.25.3.2)' can't be established.
ECDSA key fingerprint is SHA256:Qwz6cDDE7GvLYqOWEwNiW4Wf8PBLrLVAYYuHmU8d9Ds.
ECDSA key fingerprint is MD5:f7:84:ee:41:4e:97:1b:f3:28:d7:f5:63:71:d0:6b:06.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'server2,172.25.3.2' (ECDSA) to the list of known hosts.
Last login: Sat Aug 14 23:58:51 2021
[hadoop@server2 ~]$ logout
Connection to server2 closed.
[hadoop@server1 hadoop]$ ssh server3
The authenticity of host 'server3 (172.25.3.3)' can't be established.
ECDSA key fingerprint is SHA256:Qwz6cDDE7GvLYqOWEwNiW4Wf8PBLrLVAYYuHmU8d9Ds.
ECDSA key fingerprint is MD5:f7:84:ee:41:4e:97:1b:f3:28:d7:f5:63:71:d0:6b:06.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'server3,172.25.3.3' (ECDSA) to the list of known hosts.
Last login: Sat Aug 14 23:59:08 2021
[hadoop@server3 ~]$ logout
Connection to server3 closed.

修改hadoop配置文件

hdfs主机 172.25.3.1:9000

[hadoop@server1 hadoop]$ vim core-site.xml

在这里插入图片描述
分布式节点数设置为2

[hadoop@server1 hadoop]$ vim hdfs-site.xml

在这里插入图片描述
worker指定server2/3

[hadoop@server1 hadoop]$ cat etc/hadoop/workers 
server2
server3

在这里插入图片描述

配置完毕，执行hadoop初始化

[hadoop@server1 hadoop]$ bin/hdfs namenode -format
2021-08-15 00:01:51,404 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = server1/172.25.3.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 3.2.1
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at server1/172.25.3.1
************************************************************/

执行hadoop启动脚本

[hadoop@server1 hadoop]$ sbin/start-dfs.sh 
Starting namenodes on [server1]
Starting datanodes
Starting secondary namenodes [server1]

查看server1信息 NameNode

[hadoop@server1 hadoop]$ jps
5155 SecondaryNameNode
4959 NameNode
5295 Jps

查看server2/3信息 DataNode

[hadoop@server2 ~]$ jps
3856 Jps
3793 DataNode

在这里插入图片描述
firefox浏览器查看节点信息
在这里插入图片描述
节点扩容，将server4加入节点

创建hadoop用户，安装nfs

[root@server4 ~]# useradd hadoop
[root@server4 ~]# id had
id: had: no such user
[root@server4 ~]# id hadoop
uid=1000(hadoop) gid=1000(hadoop) groups=1000(hadoop)
[root@server4 ~]# yum install  -y nfs-utils.x86_64

挂载nfs

[root@server4 ~]#  mount 172.25.3.1:/home/hadoop/ /home/hadoop/
[root@server4 ~]# df
Filesystem              1K-blocks    Used Available Use% Mounted on
/dev/mapper/rhel-root    28289540 1162220  27127320   5% /
devtmpfs                   495424       0    495424   0% /dev
tmpfs                      507448       0    507448   0% /dev/shm
tmpfs                      507448    6968    500480   2% /run
tmpfs                      507448       0    507448   0% /sys/fs/cgroup
/dev/vda1                 1038336  135088    903248  14% /boot
tmpfs                      101492       0    101492   0% /run/user/0
172.25.3.1:/home/hadoop  28289792 2997248  25292544  11% /home/hadoop

server1内配置worker文件，加入server4节点

[hadoop@server1 hadoop]$ cat etc/hadoop/workers 
server2
server3
server4

在这里插入图片描述

server4内执行节点添加命令

[hadoop@server4 hadoop]$ bin/hdfs --daemon start datanode

[hadoop@server4 hadoop]$ jps
4220 Jps
4190 DataNode

server4成功添加
在这里插入图片描述

五. 部署分布式资源管理框架yarn

修改yarn-site.xml ，添加yarn模块内容

[hadoop@server1 hadoop]$ vim etc/hadoop/yarn-site.xml

在这里插入图片描述
查看mapred-site.xml

[hadoop@server1 hadoop]$ vim etc/hadoop/mapred-site.xml

在这里插入图片描述

添加环境变量

[hadoop@server1 hadoop]$ vim  etc/hadoop/hadoop-env.sh

在这里插入图片描述
执行yarn启动脚本

[hadoop@server1 hadoop]$ sbin/start-yarn.sh
Starting resourcemanager
Starting nodemanagers
server4: Warning: Permanently added 'server4,172.25.3.4' (ECDSA) to the list of known hosts.

在这里插入图片描述

查看server1信息 Resourcemanager

[hadoop@server1 hadoop]$ jps
15667 Jps
4695 SecondaryNameNode
4506 NameNode
15563 ResourceManager

在这里插入图片描述
查看server2/3/4信息 nodemanager

[hadoop@server3 ~]$ jps
4323 NodeManager
4595 Jps

访问 172.25.3.1:8088,查看yarn管理页面
在这里插入图片描述

张一不二
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop大数据开发实战-教学大纲.pdf
12-23
一、 课程的性质 本课程是为大数据技术类相关专业学生开设的课程。随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。 二、 课程的任务 通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。
Hadoop大数据_安装jdk、hadoop
lhy857的博客
04-10 2341
安装jdk 一、开启网络,ifconfig指令查看ip 二、修改主机名 hostnamectl set-hostname hadoop 三、查看防火墙状态并打开防火墙 1.firewall-cmd --state查看防火墙状态 2.systemctl start iptables.service打开防火墙 3.reboot 重启Linux 四、删除已有的jdk 查看java安装版本：java -version 查看java安装包：rpm -qa|grep java 删除java安装包：
大数据最新Hadoop Web项目--Friend Find系统_hadoopha与web交互设计，2024年最新大数据开发工程师面试题目
最新发布
2301_76379606的博客
05-11 896
这里初始化使用的是lz的虚拟机的配置，所以需要修改为自己的集群配置，点击某一行数据，在toolbar里即可选择修改或保存等。
Hadoop完全分布式部署(超全)
qq_27960935的博客
10-21 3396
Hadoop完全分布式部署 1、配置vm共享文件夹 注意：主要是实现window与虚拟机之间的文件共享，如果用实体机的，就不需要这步 1.1 linux系统创建共享目录 mkdir -p /work/software/share 1.2 vm配置共享文件夹 2、配置vm网络 vm安装步骤看这 三台服务器ip为： hdp01 192.168.10.133 hdp02 192.168.10.134 hdp03 192.168.10.135 3、配置虚拟机 注意：以下内容三台服务器同样配置（以第一台服务
企业—hadoop简介及其部署
weixin_44224288的博客
05-22 1129
一.hadoop简介及其原理 HDFS原理介绍 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。 1.HDFS的组成： NameNode：Master节点（也称元数据节点），是系统唯一的管理者。负责元数据的管理(名称空间和数据块映射信息);配置副本策略；处理客户端请求 DataNode：数据存储节点(...
hadoop集群部署
Cat God 007的博客
04-19 6985
hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构, 是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。 Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下，开发分布式程序，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 hadoo
hadoop-common-2.7.1-bin-maste
08-05
Hadoop Common是Apache Hadoop项目的核心组件之一，它提供了Hadoop生态系统中所有其他模块所必需的基础设施和服务。在本文中，我们将深入探讨Hadoop Common 2.7.1版本，解析其重要特性、工作原理以及在实际应用中的...
Hadoop Real-World Solutions Cookbook - Second Edition
10-19
《Hadoop Real-World Solutions Cookbook - 第二版》是一本全面介绍了Hadoop生态系统中关键技术的实战指南。书中不仅涵盖了Hadoop 2.x及其核心组件YARN的深入讲解，还详细探讨了Hive、Pig、Oozie、Flume、Sqoop、...
hadoop_sqoop-1.4.6.bin__hadoop-2.0.4-alpha.rar limux用
06-16
《Hadoop与Sqoop实战：基于1.4.6与Hadoop 2.0.4-alpha的集成》 Hadoop和Sqoop是大数据处理领域中的两大核心组件，它们各自承担着不同的任务。Hadoop，一个由Apache基金会开发的开源框架，主要用于分布式存储和计算...
Hadoop部署模式
Python_XTyyds的博客
12-09 1044
Hadoop部署模式
Hadoop完全分布式环境部署(一看就会）
weixin_54412689的博客
04-26 7832
Hadoop完全分布式环境部署
hadoop—haddop部署、yarn管理器使用、hdfs的高可用、yarn的高可用、Hbase分布式部署
qq_43114229的博客
06-07 373
1、hadoop简介
GitChat·大数据 | 史上最详细的Hadoop环境搭建
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
保姆级丨Hadoop部署
尼泊罗河伯的博客
07-31 1203
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
史上最简单详细的Hadoop完全分布式集群搭建
热门推荐
Mage的博客
10-31 5万+
一.安装虚拟机环境 Vmware12中文官方版 链接：https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取码：6rep 激活秘钥：MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 这个安装就十分的简单了，只需要不断点击下一步，直到安装完成就OK了； 二.虚拟机的安装（Centos7） 这个步骤我分享一个详细安装地址：https://www...
Hadoop安装部署&全分布式搭建
CyAurora的博客
07-17 1778
1. 完全分布式模式介绍 完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。 在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中，⽐如： -1. namenode守护进程尽可能的单独部署在⼀台硬件性能相对来说⽐较好的机器中。 -2. 其他的每台机器上都会部署⼀个datanode守护进程，⼀般的硬件环境即可。 -3. secondarynamenode守护进程最好不要和namenode在同⼀台机器上。 2. 平台软件说明 .
大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）
qq_41946216的博客
11-15 6771
-是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->-- 关闭yarn内存检查 flink on hadoop 配置-->-- 指定HDFS中NameNode的地址 默认 9000端口-->-- 指定Hadoop运行时产生文件的存储目录 -->-- 2nn web端访问地址 可以不配置-->-- 历史服务器web端地址 -->
hadoop的企业优化(超级详细)
互联网知识分享
07-19 182
总的来说，Hadoop的优化是一个涵盖多个方面的过程，需要根据具体的业务需求和硬件环境，进行灵活的调整和组合。CPU的核心数量会影响到可以并行处理的任务数量，而内存的大小则会影响到每个任务可以处理的数据量。根据任务的需求，合理地设置Container的大小，可以提高资源的利用率。一般情况下，集群的总存储容量应该至少是数据大小的三倍，以支持HDFS的数据冗余。调整Map和Reduce任务数量：根据数据的大小和集群的计算能力，合理地设置Map和Reduce任务的数量，可以提高数据处理的效率。
Hadoop集群安装部署
qq_48391148的博客
03-28 2877
hadoop集群的搭建
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值