搭建Hadoop3(1)，大厂面试经验分享

最新推荐文章于 2024-11-11 10:17:11 发布
最新推荐文章于 2024-11-11 10:17:11 发布
阅读量730 收藏 18
点赞数 11
分类专栏： 程序员 文章标签： 面试 经验分享 职场和发展
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181340/article/details/137731190
版权

在这里插入图片描述

  • rpm（英文全拼：redhat package manager） 原本是 Red Hat Linux 发行版专门用来管理 Linux 各项套件的程序，由于它遵循 GPL 规则且功能强大方便，因而广受欢迎。逐渐受到其他发行版的采用。RPM 套件管理方式的出现，让 Linux 易于安装，升级，间接提升了 Linux 的适用度。
  • ps （英文全拼：process status）命令用于显示当前进程的状态，类似于 windows 的任务管理器。
  • grep (global regular expression) 命令用于查找文件里符合条件的字符串或正则表达式。该命令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设 grep 指令会把含有范本样式的那一列显示出来。若不指定任何文件名称，或是所给予的文件名为 -，则 grep 指令会从标准输入设备读取数据。

如果没有安装，可以使用以下命令进行安装

yum install  openssh-server openssh-clients

第二步，修改SSH服务配置文件

默认情况下，CentOS Stream 9不允许用户root进行远程登录，在虚拟机Hadoop2中执行vi /etc/ssh/sshd_config命令编辑配置文件sshd_config。

PermitRootLogin yes

在这里插入图片描述

对于小白，这里介绍下vi命令的简单使用方式：使用vi命令打开文件后，输入字母i进入插入模式 => 修改相应的文件内容 => 按**Esc**键进入命令行模式 => 输入:进入底行模式 => 输入x或者wq保存退出。

如果文件修改后不想保存，进行底行模式后输入q!进行不保存退出。

第三步， 重启SSH服务

systemctl restart sshd

3. 克隆主机

1）关闭hadoop1

使用命令shutdown -h now关闭hadoop1

或者

![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=images%2F在这里插入图片描述

2）克隆虚拟机

克隆虚拟机hadoop2、hadoop3，以克隆hadoop2为例

在这里插入图片描述

在这里插入图片描述
->在这里插入图片描述

在这里插入图片描述

  • 完整克隆的虚拟机是通过复制原虚拟机创建完全独立的新虚拟机，不和原虚拟机共享任何资源，可以脱离原虚拟机独立使用。
  • 链接克隆的虚拟机需要和原虚拟机共享同一个虚拟磁盘文件，不能脱离原虚拟机独立运行。

在这里插入图片描述

4. 网络设置

网络整体规划如下：

虚拟机名主机名IP
hadoop1hadoop1192.168.121.160
hadoop2hadoop2192.168.121.161
hadoop3hadoop3192.168.121.162
1）配置VMware Workstation网络

在VMware Workstation主界面，依次单击“编辑”→“虚拟网络编辑器…”选项，配置VMware Workstation网络。

在这里插入图片描述

2）配置静态IP

以hadoop1主机为例，类似配置hadoop2、 hadoop3

编辑配置文件

vi /etc/NetworkManager/system-connections/ens33.nmconnection

在这里插入图片描述

method=manual
address1=192.168.121.160/24,192.168.121.2
dns=114.114.114.114

修改uuid（只需要修改hadoop2、 hadoop3主机）

uuid的作用是使分布式系统中的所有元素都有唯一的标识码。

sed -i '/uuid=/c\uuid='`uuidgen`'' /etc/NetworkManager/system-connections/ens33.nmconnection

重启ens33网卡和重新加载网络配置文件

nmcli c reload
nmcli c up ens33

查看网络信息

ip a

在这里插入图片描述

检测网络

ping www.baidu.com

在这里插入图片描述

输入ctrl+c退出检测

3）主机名

配置hadoop2主机名

hostnamectl set-hostname hadoop2

配置hadoop3主机名

hostnamectl set-hostname hadoop3
4）配置虚拟机SSH远程登录

在这里插入图片描述

① 配置putty

在这里插入图片描述

② 配置winscp

在这里插入图片描述

5）修改映射文件

在虚拟机hadoop1主机执行vi /etc/hosts命令编辑映射文件hosts，在配置文件中添加如下内容。

192.168.121.160 hadoop1
192.168.121.161 hadoop2
192.168.121.162 hadoop3

在虚拟机hadoop1主机执行如下命令，拷贝配置到hadoop2, hadoop3

scp /etc/hosts root@hadoop2:/etc/hosts
scp /etc/hosts root@hadoop3:/etc/hosts

在这里插入图片描述

6) 关闭防火墙

关闭虚拟机Hadoop1、Hadoop2和Hadoop3的防火墙，分别在3台虚拟机中运行如下命令关闭防火墙并禁止防火墙开启启动。

  • 关闭防火墙systemctl stop firewalld
  • 禁止防火墙开机启动systemctl disable firewalld

5. 免密登录

在集群环境中，主节点需要频繁的访问从节点，以获取从节点的运行状态，主节点每次访问从节点时都需要通过输入密码的方式进行验证，确定密码输入正确后才建立连接，这会对集群运行的连续性造成不良影响，为主节点配置SSH免密登录功能，可以有效避免访问从节点时频繁输入密码。接下来，虚拟机hadoop1作为集群环境的主节点实现SSH免密登录。

SSH免密登录原理（原理：非对称加密算法：公钥加密（给别人）、私钥解密给自己）

在这里插入图片描述

1）生成密钥

在虚拟机hadoop1中执行ssh-keygen -t rsa命令，生成密钥。

在这里插入图片描述

查看秘钥文件

在虚拟机hadoop1中执行ll /root/.ssh命令查看密钥文件。

在这里插入图片描述

2）复制公钥文件

将虚拟机hadoop1生成的公钥文件复制到集群中相关联的所有虚拟机，实现通过虚拟机hadoop1可以免密登录虚拟机hadoop1、hdp3-2和hdp3-3。

ssh-copy-id hadoop1

在这里插入图片描述

ssh-copy-id hadoop2


ssh-copy-id hadoop3
3）测试免密登录
ssh hadoop1
ssh hadoop2
ssh hadoop3

在这里插入图片描述

6. 安装JDK

约定：软件安装包存放于/software，软件安装至/opt

1）创建目录

在虚拟机hadoop1中执行mkdir /software

2）上传jdk

利用winscp将jdk-8u261-linux-x64.tar.gz上传至hadoop1的/software目录

3）解压jdk
cd /software
ll
tar -xvf jdk-8u261-linux-x64.tar.gz -C /opt
4）配置JDK系统环境变量

在虚拟机hadoop1执行vi /etc/profile命令编辑环境变量文件profile，在该文件的底部添加配置JDK系统环境变量的内容。

export JAVA\_HOME=/opt/jdk1.8.0_261
export PATH=$PATH:$JAVA\_HOME/bin

记得执行source /etc/profile重新加载系统环境变量

5）验证jdk
java -version

在这里插入图片描述

6）同步文件

分发JDK安装目录和系统环境变量文件至hadoop2、hadoop3

scp -r  /opt/jdk* root@hadoop2:/opt
scp  /etc/profile root@hadoop2:/etc

scp -r  /opt/jdk* root@hadoop3:/opt
scp  /etc/profile root@hadoop3:/etc

二、完全分布式部署

基于完全分布式模式部署Hadoop，需要将Hadoop中HDFS和YARN的相关服务运行在不同的计算机中，我们使用已经部署好的3台虚拟机Hadoop1、Hadoop2和Hadoop3。为了避免在使用过程中造成混淆，先规划HDFS和YARN的相关服务所运行的虚拟机。

虚拟机名主机名IP角色服务
hadoop1hadoop1192.168.121.160masterNameNode、ResourceManager
hadoop2hadoop2192.168.121.161workersSecondaryNameNode、DataNode、NodeManager
hadoop3hadoop3192.168.121.162workersDataNode、NodeManager

1. 安装Hadoop

1）解压

以解压方式安装Hadoop，将Hadoop安装到虚拟机Hadoop1的/opt目录。

tar -xvf /software/hadoop-3.3.6.tar.gz   -C /opt
2）配置环境变量

在Hadoop1执行vi /etc/profile命令配置系统环境变量，在该文件的底部添加如下内容。

export HADOOP\_HOME=/opt/hadoop-3.3.6
export PATH=$PATH:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin
3）验证

在虚拟机Hadoop1的任意目录执行hadoop version命令查看当前虚拟机中Hadoop的版本号。

在这里插入图片描述

2. 修改配置文件

配置文件功能描述
hadoop-env.sh配置Hadoop运行时的环境，确保HDFS能够正常运行NameNode、SecondaryNameNode和DataNode服务
yarn-env.sh配置YARN运行时的环境，确保YARN能够正常运行ResourceManager和NodeManager服务
core-site.shHadoop核心配置文件
hdfs-site.xmlHDFS核心配置文件
mapred-site.xmlMapReduce核心配置文件
yarn-site.xmlYARN核心配置文件
workers控制从节点所运行的服务器
1）配置Hadoop运行时环境

在Hadoop安装目录/etc/hadoop/目录，执行vi hadoop-env.sh命令，在hadoop-env.sh文件的底部添加如下内容。

export JAVA\_HOME=/opt/jdk1.8.0_261
export HDFS\_NAMENODE\_USER=root
export HDFS\_DATANODE\_USER=root
export HDFS\_SECONDARYNAMENODE\_USER=root
export YARN\_RESOURCEMANAGER\_USER=root
export YARN\_NODEMANAGER\_USER=root
  • 指定Hadoop使用的JDK
  • 指定管理NameNode、DataNode等服务的用户为root
2）配置hadoop

在Hadoop安装目录/etc/hadoop/目录，执行vi core-site.xml命令，在core-site.xml文件中添加如下内容。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/data/hadoop-3.3.6</value>
</property>
<property>
   <name>hadoop.http.staticuser.user</name>
   <value>root</value>
</property>
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

注意：

  • 上面的配置项要配置到<configuration>标签中，后面的配置项类似

配置项：

  • fs.defaultFS：指定HDFS的通信地址
  • hadoop.tmp.dir：指定Hadoop临时数据的存储目录
  • hadoop.http.staticuser.user：指定通过Web UI访问HDFS的用户root
  • hadoop.proxyuser.root.hosts：允许任何服务器的root用户可以向Hadoop提交任务
  • hadoop.proxyuser.root.groups：允许任何用户组的root用户可以向Hadoop提交任务
  • fs.trash.interval：指定HDFS中被删除文件的存活时长为1440秒

更多参数请参考官网：https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-common/core-default.xml

3）配置HDFS

在Hadoop安装目录/etc/hadoop/目录，执行vi hdfs-site.xml命令，在hdfs-site.xml文件中添加如下内容。

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop2:9868</value>
</property>

配置项：

  • dfs.replication：指定数据副本个数
  • dfs.namenode.secondary.http-address：指定SecondaryNameNode服务的通信地址

更多参数请参考官网：https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

4）配置MapReduce

在Hadoop安装目录/etc/hadoop/目录，执行vi mapred-site.xml命令，在mapred-site.xml文件中添加如下内容。

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop1:19888</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

配置项：

  • mapreduce.framework.name：MapReduce的执行模式，默认是本地模式，另外可以设置成classic(采用MapReduce1.0模式运行) 或 yarn（基于YARN框架运行）.
  • mapreduce.job.ubertask.enable：是否允许开启uber模式，当开启后，小作业会在一个JVM上顺序运行，而不需要额外申请资源
  • mapreduce.jobhistory.address：指定MapReduce历史服务的通信地址
  • mapreduce.jobhistory.webapp.address：指定通过Web UI访问MapReduce历史服务的地址
  • yarn.app.mapreduce.am.env：指定MapReduce任务的运行环境
  • mapreduce.map.env：指定MapReduce任务中Map阶段的运行环境
  • mapreduce.reduce.env：指定MapReduce任务中Reduce阶段的运行环境

更多参数请参考官网：https://hadoop.apache.org/docs/r3.3.6/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

5）配置YARN

在Hadoop安装目录/etc/hadoop/目录，执行vi yarn-site.xml命令，在yarn-site.xml文件中添加如下内容。

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop1:19888/jobhistory/logs</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

配置项：

  • yarn.resourcemanager.hostname：指定ResourceManager服务运行的主机
  • yarn.nodemanager.aux-services：指定NodeManager运行的附属服务
  • yarn.nodemanager.pmem-check-enabled：指定是否启动检测每个任务使用的物理内存
  • yarn.nodemanager.vmem-check-enabled：指定是否启动检测每个任务使用的虚拟内存
  • yarn.log-aggregation-enable：指定是否开启日志聚合功能
  • yarn.log.server.url：指定日志聚合的服务器
  • yarn.log-aggregation.retain-seconds：指定日志聚合后日志保存的时间

更多参数请参考官网：https://hadoop.apache.org/docs/r3.3.6/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

6）配置workers

在虚拟机Hadoop1的/opt/hadoop-3.3.6/etc/hadoop/目录，执行vi workers命令，将workers文件默认的内容修改为如下内容。

hadoop2
hadoop3

3. 同步文件

使用scp命令将虚拟机Hadoop1的Hadoop安装目录分发至虚拟机Hadoop2和Hadoop3中存放安装程序的目录。

scp -r /opt/hadoop-3.3.6 root@hadoop2:/opt
scp -r /opt/hadoop-3.3.6 root@hadoop3:/opt

scp /etc/profile root@hadoop2:/etc
scp /etc/profile root@hadoop3:/etc

4. 格式化

  • 在基于伪分布式模式部署的Hadoop安装目录/opt/pdch/hadoop-3.3.6中，关闭基于伪分布式模式部署的Hadoop
  • 在虚拟机Hadoop1执行hdfs namenode -format命令，对基于完全分布式模式部署的Hadoop进行格式化HDFS文件系统的操作。

注意：格式化HDFS文件系统的操作只在初次启动Hadoop集群之前进行。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
img

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

p集群之前进行。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
[外链图片转存中…(img-aCcAh8B1-1713033241686)]
[外链图片转存中…(img-RR1pS0Gh-1713033241687)]
[外链图片转存中…(img-1cxSTiPF-1713033241687)]
[外链图片转存中…(img-RO4rnUpA-1713033241687)]
[外链图片转存中…(img-86euLW4C-1713033241688)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-s4qgfU5w-1713033241688)]

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84181340
关注
专栏目录
vmware workstation克隆虚拟机网卡UUID冲突
IT
07-03 3349
解决办法 使用uuidgen生成新的uuid，使用sed命令进行替换： sed -i "/UUID/c UUID=$(uuidgen)" /etc/sysconfig/network-scripts/ifcfg-ens33 systemctl restart network nmcli con show 然后在vmware workstation菜单栏选择编辑粘贴即可执行以上3行命令： 手动替换方法： [root@localhost ~]# uuidgen af69ba30-b2f0-4152-a4
hadoop
weixin_74166449的博客
12-14 55
完成若干配置，见书42-44页，与伪分布式不同的hdfs-site.xml文件中 数量为2， secondarynamenode为h2:9868；6.编辑网络配置文件 vi /etc/Network /system /ens33 3次teb键补齐。在配置之前，如果之前配置过得，用以下命令将之前的配置文件删除，没有则无需操作。在hadoop1 severs目录下新建文件夹 wfb-hadoop。解压缩hadoop到servers目录下的wfb-hadoop。5.修改映射文件 vi /etc/hosts。
Hadoop高手之路8-Flume日志采集
W_chuanqi的博客
01-03 3703
Flume原是Cloudera公司提供的一个高可用的、高可靠的、分布式海量日志采集、聚合和传输系统，而后纳入到了Apache旗下，作为一个顶级开源项目。Apache Flume不仅只限于日志数据的采集，由于Flume采集的数据源是可定制的，因此Flume还可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息以及几乎任何可能的数据源。
Yarn 常见配置项
zhixingheyi_tian的博客
10-28 1738
<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>
YARN 内存参数终极详解
热门推荐
美伊小公主的超级奶爸的专栏
03-02 1万+
很多朋友在刚开始搭建和使用 YARN 集群的时候，很容易就被纷繁复杂的配置参数搞晕了：参数名称相近、新老命名掺杂、文档说明模糊 。特别是那几个关于内存的配置参数，即使看好几遍文档也不能完全弄懂含义不说，配置时一不小心就会张冠李戴，犯错误。 如果你同样遇到了上面的问题，没有关系，在这篇文章中，我就为大家梳理一下 YARN 的几个不易理解的内存配置参数，并结合源码阐述它们的作用和原理
大数据集群搭建之Linux安装hadoop3
m0_67613962的博客
05-06 1141
dfs.namenode.http-address.ns1.hadoop002 hadoop002:9870 dfs.ha.automatic-failover.enabled.ns1 true dfs.client.failover.proxy.provider.ns1 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.permissions.enabled false dfs.re.
hadoop集群搭建完整教程，java电商项目面试技巧
EDGNB123的博客
04-11 205
前言 本系列的目的是明明白白、彻彻底底的搞定日期/时间处理的几乎所有case。上篇文章铺设所有涉及到的概念解释，例如GMT、UTC、夏令时、时间戳等等，若你还没看过，不仅强烈建议而是强制建议你前往用花5分钟看一下，因为日期时间处理较为特殊，实战必须基于对概念的了解，否则很可能依旧雾里看花。 说明：日期/时间的处理是日常开发非常常见的老大难，究其原因就是对日期时间的相关概念、应用场景不熟悉，所以不要忽视它 本文落地实操，二者相辅相成，缺一不可。本文内容较多，文字较长，预计超2w字，旨在全面的彻底帮你搞定J
win10搭建hadoop和spark
2301_79835671的博客
04-18 787
18、Execution（执行操作）（1）格式化hdfs硬盘 Format the filesystem: $ bin/Windows下是执行cmd命令，cd 到 hadoop 安装目录的 bin 目录下执行命令然后发现错误上GitHub上下载文件，然后解压文件找到 hadoop 对应版本的文件，放到 /bin 目录下然后放到 /bin 目录下，重新执行命令，发现hadoop安装目录的磁盘下目录下创建了hdfs的原数据信息，cmd窗口也没报错，说明格式化成功。
hadoop平台搭建教程，linux运维面试题及答案
03-30 192
开头 Spring框架自诞生以来一直备受开发者青睐，有人亲切的称之为：Spring 全家桶。Spring更是避免了重复造轮子的工作并跟随着互联网行业的发展做出不断的更新，很多研发人员把spring看作心目中最好的Java项目，没有之一。 **可以毫不夸张的说，Spring重新定义了Java，**所以这是重点也是难点，工作中必须会，面试时肯定考，不过很多人在面试的时候在简历上写着熟悉Spring，但也不过只是会用SSM，在这个基础上做crud罢了，对于Spring全家桶里面其他技术点真的有所掌握吗？ Spri
互联网大厂大数据面试高频题：Linux与Hadoop命令详解
本文档是一份针对大数据领域互联网大厂面试的高频问题及其答案汇总，内容涵盖Linux与Shell编程技能，以及Hadoop相关的技术知识。以下是详细解读： 1. **Linux & Shell命令基础**： - `top`：用于实时监控系统资源...
疯狂Hadoop之分布式集群搭建（一）_hadoop yarn 多节点
wdsfgj的博客
04-20 336
因为在配置core-site.xml文件的时候，配置了一个文件存储目录，该目录没有创建，在hadoop格式化的时候会自动创建，所以可以查看该目录是否创建来判断是否格式化成功。如果配置了etc/hadoop/workers和ssh免密登录，则可以使用程序脚本启动所有hadoop两个集群的相关进程，在主节点所设定的机器上执行。费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！打开hadoop-3.2.1—share----doc—hadoop----index.html文件。
在HDP安装的yarn基础上，自定义安装个spark on yarn
qq_31806205的博客
03-20 1104
一、概述 通常用HDP+AMBARI安装的spark on yarn 模式可以正常使用，但是缺点是spark版本是HDP包中固定好的，极其不灵活，目标就是使用HDP+AMBARI安装的yarn ， 然后spark自己部署，保证自己安装的spark可以运行在ambari部署的yarn上面。 二、 部署步骤 1. 进入/usr/hdp/2.5.3.0-37/hadoop-yarn/lib（hdp安装目...
Hadoop YARN中内存和CPU两种资源的调度和隔离（配置篇）
weixin_33895604的博客
09-02 840
2019独角兽企业重金招聘Python工程师标准>>> ...
微服务架构面试内容整理-Sleuth
不务正业的猿
11-07 451
当请求在服务之间传播时，Sleuth 会将 Trace ID 和 Span ID 作为请求头的一部分传递，从而实现对整个请求路径的追踪。在微服务架构中，服务之间的请求链路往往很复杂，Sleuth 可以帮助开发者追踪请求在多个服务中的流转情况。当请求跨多个微服务传播时，每个服务的日志中都会包含相同的 Trace ID，帮助开发者跟踪整个请求的流转。Sleuth 能够对请求进行跟踪，为每个请求生成唯一的追踪 ID（Trace ID），并在服务之间传播。
【IC每日一题：IC验证面试常问-3】
li_kin的博客
11-07 805
IC验证常问问题
[面试]Mysql的锁机制
ouyfg的博客
11-08 596
MySQL中的锁主要用于控制多个事务对数据库资源的并发访问，以确保数据的一致性和完整性。锁机制是数据库并发控制的核心，通过锁定数据库中的资源来防止并发操作引发的数据冲突。行锁允许多个事务在同一个表中并发执行不同行上的操作，而不会互相阻塞，因此具有较高的并发性。但相比于表锁，行锁需要更多的资源来维护锁的状态，开销更大。表锁是一种较粗粒度的锁机制，会锁定整个表，而不是某个具体的行或记录。综上，MySQL的锁机制是数据库并发控制的核心。除了表级锁和行级锁，MySQL还提供了其他类型的锁来支持不同的并发控制需求。
微服务架构面试内容整理-监控与追踪-Zipkin
最新发布
不务正业的猿
11-11 84
通过为每个请求生成 Trace ID 并跟踪其在各个微服务之间的传播情况，Zipkin 能够帮助开发者清晰地理解系统的调用链路，找出性能瓶颈和问题点，从而提高系统的稳定性和用户体验。当一个请求在多个微服务之间传播时，Zipkin 会通过请求头（HTTP Headers）传递 Trace ID 和 Span ID，从而确保所有服务的追踪数据能够关联起来。微服务监控：在微服务架构中，Zipkin 可以帮助开发者理解请求在不同服务之间的流转情况，监控微服务之间的交互。
Kafka面试夺命连环30问（一）
A12345689B的博客
11-09 1067
14、Kafka中Leader挂了，Follower挂了，然后再启动，数据如何同步？15、kafka中初始化的时候Leader选举有一定的规律，如何打破这个规律呢？4、你知道 Kafka 是如何做到消息的有序性？11、简述kafka集群中的Leader选举机制。8、Kafka中如何做到数据唯一，即数据去重？12、kafka是如何处理数据乱序问题的。2、Kafka 的设计架构你知道吗？5、ISR、OSR、AR 是什么？1、kafka消息发送的流程？3、Kafka 分区的目的？9、生产者如何提高吞吐量？
C++ 面试问题集合
weixin_44399845的博客
11-11 128
C++ 面试常见算法
8年互联网老兵的面试知识点总结：大厂面试经验分享
在本文中，作者以一名拥有8年工作经验的互联网从业者身份，分享了他在两个月内面试20多家知名大厂的经历和学习心得。他面对家庭经济压力和个人职业挑战时，通过不懈努力最终获得Offer。作者提到，疫情期间的面试环境...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值