20210113_hadoop_ha高可用学习笔记

最新推荐文章于 2024-08-27 22:12:29 发布
最新推荐文章于 2024-08-27 22:12:29 发布
阅读量152 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yehaver/article/details/117522981
版权

一、hadoop集群的安装与配置，全部按照hadoop基础学习笔记中先配置
高可用没有了secondarynamenode，使用JournalNodes来替代，且必须要有三台机器有JournalNodes
新增加了一个namenode（standby）,以前namenode还是namenode（active）
新增加了一个resourcemanager（standby）,以前resourcemanager还是resourcemanager（active）

二、hadoop高可用参数修改配置
          192.168.100.101/master         192.168.100.102/s1                  192.168.100.103/s2
hdfs      namenode+datanode              namenode+datanode                         datanode
yarn       nodemanager                  nodemanager+resourcemanager         nodemanager+resourcemanager
Journal   JournalNode+Zookeeper        JournalNode+Zookeeper                 JournalNode+Zookeeper


三、手动切换HA操作步骤
新建目录
mkdir /root/HA
拷贝原始搭建的HADOOP单节点集群
cp -r /root/hadoop-2.10.1 /root/HA/
新建journal目录
mkdir -p /root/HA/hadoop-2.10.1/journal
修改部分配置参数
vim /root/HA/hadoop-2.10.1/etc/hadoop/hdfs-site.xml
<property>
  <name>dfs.replication</name>
  <value>2</value>
  <description>表示数据块的备份数量，不能大于DataNode的数量</description>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/root/HA/hadoop-2.10.1/namenode</value>
  <description>表示NameNode需要存储数据的地方;可以设置多个目录用逗号隔开,那么名称表将复制到所有目录中，以实现冗余。</description>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/root/HA/hadoop-2.10.1/datanode</value>
  <description>DataNode存放数据的地方;可以设置多个目录用逗号隔开，数据将存储在某一个目录中，不实现冗余，某机器增加磁盘后会选择此项</description>
</property>
<property>
  <name>dfs.namenode.heartbeat.recheck-interval</name>
  <value>300000</value>  
  <description>单位为毫秒；datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。</description>
</property>
<property>
  <name> dfs.heartbeat.interval </name>
  <value>3</value>
  <description>单位为秒；默认dfs.namenode.heartbeat.recheck-interval 大小为5分钟，dfs.heartbeat.interval默认为3秒；timeout  = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval</description>
</property>
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
  <description>配置集群的id</description>
</property>
<!--配置所有的namenode节点的namenodeid--> 
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<!--给nameserviceid下的namenodeid指定是哪台机器 哪个端口 对外提供上传服务 -->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>master:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>s1:8020</value>
</property>
<!--给nameserviceid下的namenodeid指定是http端口 可以使用浏览器打开查看的 -->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>master:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>s1:50070</value>
</property>
<!--配置journal的所有节点所在的主机;最好配置为 nameservieid -->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://master:8485;s1:8485;s2:8485/mycluster</value>
</property>
<!--配置自动切换的代理 也就是前面提到的zkfc 如果是手动切换主从 不需要配置这个 后面使用自动 先配上-->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--主机挂掉 登录到主机做的后续操作-->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>shell(/bin/true)</value>
</property>
<!--主机私钥地址，给对应用户地址-->
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/root/.ssh/id_rsa</value>
</property>
<!--关闭权限检查-->
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>


 
 
vim /root/HA/hadoop-2.10.1/etc/hadoop/core-site.xml
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
  <description>单位为KB</description>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/root/HA/hadoop-2.10.1/tmp</value>
  <description>Abasefor other temporary directories.</description>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/root/HA/hadoop-2.10.1/journal</value>
</property>
  <property>
    <name>fs.trash.interval</name>
    <value>3</value>
    <description>回收站文件保留时间，单位分钟</description>
  </property>
  <property>
    <name>fs.trash.checkpoint.interval</name>
    <value>1440</value>
    <description>回收站的检查间隔，应该是小于或者等于fs.trash.interval，单位分钟</description>
  </property>
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
    <description>回收站里面可以查看的用户，默认是dr.who，有设置回收站建议修改</description>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>

  
其它文件配置和单点故障模式一样，不需要调整
删除以前的 datanode,namenode,tmp,logs 文件下数据
cd /root/HA/hadoop-2.10.1/datanode
rm -rf *
cd /root/HA/hadoop-2.10.1/namenode
rm -rf *
cd /root/HA/hadoop-2.10.1/tmp
rm -rf *
cd /root/HA/hadoop-2.10.1/logs
rm -rf *

拷贝HA文件到其它节点
scp -r HA root@192.168.100.102:/root/
scp -r HA root@192.168.100.103:/root/

启动所有JournalNode,在三台JournalNode机器执行
/root/HA/hadoop-2.10.1/sbin/hadoop-daemon.sh start journalnode

在master格式化集群,只执行一次
/root/HA/hadoop-2.10.1/bin/hdfs namenode -format

启动master节点的namenode
/root/HA/hadoop-2.10.1/sbin/hadoop-daemon.sh start namenode

同步master的namenode信息，只能执行一次
/root/HA/hadoop-2.10.1/bin/hdfs namenode -bootstrapStandby 

启动s1节点的namenode(standby)
/root/HA/hadoop-2.10.1/sbin/hadoop-daemon.sh start namenode

集群master启动dfs
/root/HA/hadoop-2.10.1/sbin/start-dfs.sh

通过网址访问
http://192.168.100.101:50070/
http://192.168.100.102:50070/

默认两个namenode都是standby状态 手动切换（将master也就是nn1设置为active状态）
/root/HA/hadoop-2.10.1/bin/hdfs haadmin -transitionToActive nn1

测试关闭 master的namenode服务
/root/HA/hadoop-2.10.1/sbin/hadoop-daemon.sh stop namenode
或者使用
kill -9 namenode的进程， 如果再重新启动此节点namenode，启动后变成了standby，还是需要手工转为active
/root/HA/hadoop-2.10.1/bin/hdfs haadmin -transitionToActive nn1

强制切换active节点到node2节点
/root/HA/hadoop-2.10.1/bin/hdfs haadmin -transitionToActive --forceactive nn2

后面可以启动yarn
/root/HA/hadoop-2.10.1/sbin/start-yarn.sh

四、自动切换HA操作步骤
1.按照手工方式配置好集群

2.安装好zookeeper软件，具体参考zookeeper学习笔记

3.在上面配置文件中增加如下配置
vim /root/HA/hadoop-2.10.1/etc/hadoop/hdfs-site.xml
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

scp /root/HA/hadoop-2.10.1/etc/hadoop/hdfs-site.xml root@192.168.100.102:/root/HA/hadoop-2.10.1/etc/hadoop/hdfs-site.xml
scp /root/HA/hadoop-2.10.1/etc/hadoop/hdfs-site.xml root@192.168.100.103:/root/HA/hadoop-2.10.1/etc/hadoop/hdfs-site.xml

vim /root/HA/hadoop-2.10.1/etc/hadoop/core-site.xml
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>master:2181,s1:2181,s2:2181</value>
  </property>

scp /root/HA/hadoop-2.10.1/etc/hadoop/core-site.xml root@192.168.100.102:/root/HA/hadoop-2.10.1/etc/hadoop/core-site.xml
scp /root/HA/hadoop-2.10.1/etc/hadoop/core-site.xml root@192.168.100.103:/root/HA/hadoop-2.10.1/etc/hadoop/core-site.xml


4.停止集群所有服务
/root/HA/hadoop-2.10.1/sbin/stop-yarn.sh
/root/HA/hadoop-2.10.1/sbin/stop-dfs.sh

5.在任意一台namenode机器格式化zk
/root/HA/hadoop-2.10.1/bin/hdfs zkfc -formatZK
可使用zookeeper客户端查看hadoop集群配置参数是否加载到zookeeper
/root/zookeeper-3.6.2/bin/zkCli.sh
[zk: localhost:2181(CONNECTED) 3] ls /
[hadoop-ha, zookeeper]
[zk: localhost:2181(CONNECTED) 4] ls /hadoop-ha
[mycluster]
[zk: localhost:2181(CONNECTED) 5]

6.启动集群
/root/HA/hadoop-2.10.1/sbin/start-dfs.sh

7.验证kill -9 active后standby自动切换为active
/root/HA/hadoop-2.10.1/sbin/hadoop-daemon.sh start namenode

8.测试上传数据
/root/HA/hadoop-2.10.1/bin/hadoop -fs -put /root/study/emp.txt


问题1，当kill -9avtice 的namenode后standby并没有启动起来
dfs.ha.fencing.methods配置有sshfence和shell两种方法：
sshfence：防止namenode脑裂，当脑裂时，会自动通过ssh到old-active将其杀掉，将standby切换为active。但是只能在网络通畅时有效，一旦ipdown后fencing方法返回false，standby不会自动切换active，
    只能手动执行 hdfs haadmin failover namenode1 namenode2 进行切；所以需要加配shell(/bin/true)。想要kill掉namenode active后standby自动切换为active，需要安装psmisc(fuser)；
    因为sshfence方式是使用fuser通过ssh登录old-active进行诊断从而切换active/standby的。
shell(/bin/true)：如果出现故障并且fencing方法返回false，则会继续执行shell(true)，从而active/standby自动切换。fencing方法返回true，则不会执行shell。

五、yarn高可用配置，即两个 resourcemanager
1.修改部分配置参数
vim /root/HA/hadoop-2.10.1/etc/hadoop/yarn-site.xml
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>s1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>s2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>s1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>s2:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>master:2181,s1:2181,s2:2181</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>  
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>开启日志聚集功能</description>
</property>
<property>
   <name>yarn.log-aggregation.retain-seconds</name>
   <value>640800</value>
   <description>日志聚集保留时间单位秒</description>
</property>

scp /root/HA/hadoop-2.10.1/etc/hadoop/yarn-site.xml root@192.168.100.102:/root/HA/hadoop-2.10.1/etc/hadoop/yarn-site.xml
scp /root/HA/hadoop-2.10.1/etc/hadoop/yarn-site.xml root@192.168.100.103:/root/HA/hadoop-2.10.1/etc/hadoop/yarn-site.xml

2.启动yarn,在s1机器上
/root/HA/hadoop-2.10.1/sbin/stop-yarn.sh
/root/HA/hadoop-2.10.1/sbin/start-yarn.sh
在s2机器上也启动yarn
/root/HA/hadoop-2.10.1/sbin/yarn-daemon.sh start resourcemanager

问题：
1.http://s1:8088/cluster 和 http://s2:8088/cluster 每次只能访问一个，访问另外一个会自动跳转到当前提供服务的那个地址
如果kill掉当前访问的地址，另外一个就可以访问了，但每次要切换访问地址，对用户不友好
2.yarn的启动停止，使用如下命令都只能操作本机的resourcemanager
/root/HA/hadoop-2.10.1/sbin/stop-yarn.sh
/root/HA/hadoop-2.10.1/sbin/start-yarn.sh
必须在另外一个机器上使用来停止本机resourcemanager
/root/HA/hadoop-2.10.1/sbin/yarn-daemon.sh start resourcemanager
/root/HA/hadoop-2.10.1/sbin/yarn-daemon.sh stop resourcemanager

上诉全部启动后进程如下
[root@master ~]# jps
6881 NodeManager
7028 Jps
3014 QuorumPeerMain
5256 DataNode
5451 JournalNode
5774 NameNode
5615 DFSZKFailoverController

[root@s1 ~]# jps
4432 DataNode
6544 NodeManager
6437 ResourceManager
6870 Jps
4600 DFSZKFailoverController
4361 NameNode
4506 JournalNode
3182 QuorumPeerMain

[root@s2 ~]# jps
3968 ResourceManager
2885 JournalNode
2791 DataNode
3815 NodeManager
4026 Jps
1995 QuorumPeerMain
2493 ZooKeeperMain

          192.168.100.101/master         192.168.100.102/s1                  192.168.100.103/s2
hdfs      namenode+datanode              namenode+datanode                         datanode
yarn       nodemanager                  nodemanager+resourcemanager         nodemanager+resourcemanager
Journal   JournalNode+Zookeeper        JournalNode+Zookeeper                 JournalNode+Zookeeper

对比所有进程是否都存在
ZooKeeperMain：启动一个zookeeper客户端就会有一个进程
[root@s2 ~]# /root/zookeeper-3.6.2/bin/zkCli.sh
QuorumPeerMain：zookeeper服务端进程
/root/zookeeper-3.6.2/bin/zkServer.sh start
DFSZKFailoverController:Namenode和ZKFC同布署在同一台物理机器上, HealthMonitor, FailoverController, ActiveStandbyElector 在同一个JVM进程中(即ZKFC)
/root/HA/hadoop-2.10.1/sbin/start-dfs.sh  #和此命令一起启动

yehaver
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NameNode频繁切换active/standby的原因和解决
宝罗Paul 的博客
03-01 4462
【导读】 若HA-Hadoop集群的active NameNode频繁出现自动切换，则可能的原因有二： （1）ZKFC的健康检查超时时长设置不合理，导致ZKFC认为NN挂掉（实际上此时的NameNode是正常active的，即“NameNode假死现象”），从而引起自动切换active NN； （2）Zookeeper上的Session Timeout导致zookeeper的服务端丢弃了当前持有的active锁（是一个临时znode），导致自动切换。 【故障现象】 某天下午，钉钉群发出一条NameNode下
2024年大数据最新Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84181536的博客
05-02 743
服务的逻辑名称,使用mycluster替换master:9000作为逻辑名称。通过SSH连接到Active NameNode并终止进程。存放namenode、datanode数据的根路径。列出运行 ZooKeeper 服务的主机端口对。存放journalnode数据的地址。两个namenode的rpc通信地址。hdfs分布式文件系统名字/地址。两个namenode的名称。切换namenode代理类。启动自动故障转移机制。
大数据----11.高可用的具体详细配置
u014579001的博客
08-19 830
高可用的具体配置 1.可以直接在我么之前的hadoop集群中进行；最好是我们重新搭建一个集群来进行；因为之前的集群还要使用； 1. 克隆服务器 2.通过拷贝我们的 hadoop01； hadoop02；hadoop03； 分布为我们的ha01；ha02；ha03； 3.克隆完毕之后的操作： ​ 1.修改机器的ip地址：我们从150； 160；170；开始； ​ vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 //默认网卡都是这
hadoop集群两个standby的解决办法
无知是恶
03-24 4382
首先你要确定不用ha的时候你的hadoop集群是正常的，不然找错误的方向就偏离了 如果都正常，配置ha 需要zookeeper，先要看看是不是zookeeper没有配置好的问题 如果都正常，在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc，这句是启动zookeeper选举制度，然后执行bin/hdfs haadmin -transitionToActive...
配置Hadoop高可用
HYJW01的博客
08-18 351
购买云主机Hadoop2 环境初始化(hadoop2) 安装Java1.8.0-openjdk 配置/etc/hosts 配置ssh免密 /etc/ssh/ssh_config hadoop1 上执行 [root@hadoop1 ~]# vim /etc/hosts 192.168.1.50 hadoop1 192.168.1.56 hadoop2 192.168.1.51 node-0001 192.168.1.52 node-0002 192.168.1.53 ...
实现hadoop的HA配置
feiyan的博客
02-27 371
一、集群的规划 Zookeeper集群： 192.168.100.100 （master） 192.168.100.101 （hadoop01） 192.168.100.102 （hadoop02） Hadoop集群： 192.168.100.100 （master） NameNode1 ResourceManager1 Journalnode 192.168.100.1...
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）_hadoop的高可用搭建
2401_84166396的博客
05-03 908
注意要将 zoo_sample.cfg 文件改名为 zoo.cfg，这个文件在 zookeeper 目录的 conf 目录下。不需要启动Zookeeper的节点，不需要配置进来。ZKFailOverController是Hadoop中通过ZK实现FC（故障转移）功能的一个实用工具。
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
黑泽君
02-24 336
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
大数据学习笔记：Hadoop 2.x的版本架构模型介绍
01-20
第二种模型引入了NameNode的高可用（High Availability, HA），即NameNode单节点与ResourceManager高可用架构。在这种模型中，ResourceManager仍然接收用户请求并分配任务，但可以通过Zookeeper实现高可用，确保服务...
Hadoop HA高可用 学习笔记（一） HDFS-HA 手动、自动模式 | YARN-HA 自动模式 | 模拟宕机故障 | HA-基于Zookeeper
希望每天都能进步一点点
04-06 1298
HA 概述 HA，即High Availablity，高可用，指的是集群能7 * 24 小时不中断服务。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 NameNode主要在以下两个方面影响HDFS集群： NameNode机器发生以外，如宕机，集群将无法使用，直到管理员重启 NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用 HDFS HA 功能通过配置多个NameNodes(Activity / Standby）实现
（大数据三）搭建通过JQM实现的HA平台
z774884795的博客
08-06 353
手动故障转移 （1）配置名称服务的逻辑名称 命令：vim $HADOOP_HOME/etx/Hadoop/hdfs-site.xml 内容处置：修改dfs.nameservices属性值为myCluster，可以取其他名称，没有添加即可 （2）为名称服务中每个NameNode配置唯一标志符 命令：vim $HADOOP_HOME/etx/Hadoop/hd...
Hadoop HA高可用集群简明安装操作说明
qq_35447918的博客
11-06 870
实验环境：本操作说明适合502机房和504机房 一 实验准备： 1）运行Vmware WorkStation或Virtual Box，把“Hadoop伪分布式”虚拟机的名称改成“standby高可用”，“master完全分布式”改成“master高可用”“slave1完全分布式”改成“slave1高可用”，“slave2完全分布式”改成“slave2高可用” 2）启动master完全分布式，slave1完全分布式，slave2完全分布式，standby高可用共4台虚拟机，把standby的IP地址修改
全网最详细的小白Hadoop2.0 HA环境搭建完整版
weixin_43813099的博客
09-09 817
我不要在失败孤独中死去，也不要一直活在地下里 Hadoop 2.0 HA搭建 （根据官方文档简单理解） 官方文档地址：点我，懒得看文档的就看我粗糙的见解，写的不好不要砍我，哈哈哈 一、Hadoop HA（高可用的简单介绍） 1.为什么需要搭建HA？ 在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个集群只有一个NameNode，如果该计算机或进程不可用，则整个在整个NameNode重新启动或在另一台计算机上启动之前将不可用。 这从两个主要方面影响了HDFS群集的总可
HDFS的高可用性HA配置实战
邵奈一的博客
07-20 1320
0x01 HDFS之HA环境准备 1. 集群规划 2. 备份原本的配置 3. 停止HDFS集群 0x02 配置HA实战 1. 修改hdfs-site.sh配置 2. 修改core-site.sh配置 3. 同步配置到slaves 4. 启动journalnode并同步元数据 5. 校验HA配置 0x03 配置Zookeeper自动切换状态 1. 配置hdfs-site.xml、core-site.xml 2. 初始化ZooKeeperFailoverController 3. 验证
Python大数据之Hadoop学习——day05_hive基本操作
weixin_46010015的博客
08-27 967
优点：可以单独使用外部库(mysql),可以共享元数据,本地可以连接metastore服务也可以连接hiveserver2服务,增加了扩展性(其他依赖hive的软件都可以通过Metastore访问hive)创建数据库:create database [if not exists] 库名 [comment '注释'] [location '路径'] [with dbproperties ('k'='v')];还可以叫非管理或非拖管表。优点：可以单独使用外部的数据库(mysql),元数据共享。
时序预测-基于自回归滑动平均模型时间序列ARIMA预测Matlab程序 点变量
最新发布
08-30
时序预测|基于自回归滑动平均模型时间序列ARIMA预测Matlab程序 点变量 1.程序功能已完成调试，用户可以通过一键操作生成图形和评价指标。 2.数据输入以Excel格式保存，只需更换文件，即可运行以获得个人化的实验结果。 3.代码中包含详细注释，具有较强的可读性，特别适合初学者和新手。 4.在实际数据集上的效果可能较差，需要对模型参数进行微调。 CSDN：机器不会学习CL 时序预测|基于自回归滑动平均模型时间序列ARIMA预测Matlab程序 点变量 1.程序功能已完成调试，用户可以通过一键操作生成图形和评价指标。 2.数据输入以Excel格式保存，只需更换文件，即可运行以获得个人化的实验结果。 3.代码中包含详细注释，具有较强的可读性，特别适合初学者和新手。 4.在实际数据集上的效果可能较差，需要对模型参数进行微调。 CSDN：机器不会学习CL
基于微信小程序的考研资料分享系统的设计与实现.docx
08-30
基于微信小程序的考研资料分享系统的设计与实现.docx
豆瓣读书书评爬虫软件，使用方便快捷
08-30
豆瓣读书书评爬虫软件将辅助你爬取你感兴趣的书目短评，交互简单，你可以轻松的获取目标书目的指定页数的内容，你可以非常方便地使用该资源即可爬取对应书目的短评内容，可以爬取指定页数的信息，也可以将内容保存到数据库sqlite中，当然也会保存为文本文件，每条评论独占一行，如果后续你要做评论的文本情感分析也会特别方便，如若不会使用，详细使用方式可以看我写的一篇文章，链接在此处，点击可跳转:https://blog.csdn.net/weixin_45938063/article/details/141500999spm=1001.2014.3001.5501 ,该资源收取1积分即可下载，欢迎支持下载，您的支持是我创作的动力
"Hadoop高可用HA集群部署及验证详解：规划、部署、验证全解析
在部署Hadoop高可用（HA）集群之前，首先需要进行规划。本文将以三节点的HA集群为例进行介绍，其中包括两个NameNode实例以及一个ZooKeeper集群。 1. 确保ZooKeeper集群已部署 在HA集群中，ZooKeeper集群扮演着关键...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值