开朗小哥的博客

系列文章：第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署（2n+1台虚拟机）第四章 Hadoop高可用集群搭建（HA）待更新第九章 spark独立模式部署（Standalone）第十章 spark配置历史服务第十一章 搭建Spark高可用（HA）第十二章 spark配置Yarn模式（混合部署模式）待更新文章目录前言一、嵌入模式。二、本地模式。1.配置Hadoop集群的配置文件（配置文件都保存在/export/servers/ha

系列文章：第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署（2n+1台虚拟机）第四章 Hadoop高可用集群搭建（HA）待更新第九章 spark独立模式部署（Standalone）第十章 spark配置历史服务第十一章 搭建Spark高可用（HA）第十二章 spark配置Yarn模式待更新文章目录Spark设置Yarn模式1.停止集群。2.修改Hadoop的配置文件。3.修改spark-env.sh文件。4.启动HDFS和YARN

spark高可用（HA）Spark高可用Spark高可用前提：进入spark目录（这里是/export/servers/spark-3.1.2）1.停止集群。sbin/stop-all.sh2.三台虚拟机均开启Zookeeper。进入Zookeeper的bin目录（这里是/export/servers/zookeeper-3.4.10/bin）./zkServer.sh start3.修改spark-env.sh文件，添加如下配置：#注释以下内容#SPARK_MASTER_HOST=

系列文章：第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署（2n+1台虚拟机）第四章 Hadoop高可用集群搭建（HA）待更新文章目录修改配置文件（先进入spark-3.1.2的conf目录）1、修改spark-defaults.conf文件。2、修改spark-env.sh文件，执行以下操作。3、将配置好后的配置文件分发到其他虚拟机。4、启动集群和历史服务。5、提交应用测试集群。由于spark-shell停止后，集群监控node1:4

系列文章：第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署（2n+1台虚拟机）第四章 Hadoop高可用集群搭建（HA）待更新文章目录一、下载安装包二、上传安装包，并解压至/export/servers目录下三、修改配置文件（先进入spark-3.1.2的conf目录）1、修改slaves文件，执行以下操作。2、修改spark-env.sh文件，执行以下操作。3、将配置好后的spark-3.1.2安装包分发到其他虚拟机。4、启动集群。一

系列文章：第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署（2n+1台虚拟机）第四章 Hadoop高可用集群搭建（HA）待更新文章目录前言一、搭建普通Hadoop集群，设三台主机名为node1，node2，node3。二、Hadoop集群配置1.配置Hadoop集群的配置文件（配置文件都保存在/export/servers/hadoop-2.7.4/etc/hadoop目录下）（1）配置Hadoop集群主节点（这里将node1作为主节点） 

文章目录一、下载安装包二、上传安装包，并解压至/export/servers目录下三、修改配置文件四、配置环境变量五、将zookeeper相关文件和修改后的/etc/profile文件分发到其他虚拟机。六、zookeeper服务的启动与关闭一、下载安装包   清华镜像下载连接：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/二、上传安装包，并解压至/export/servers目录下   进入/export/sofware/目录，用rz命

博客推荐系统是向用户推荐可能感兴趣的博客的系统。分为游客状态和登录状态（功能：展示最新的博客、推荐热度最高的博客、按分类推荐博客、登录注册、点赞收藏、修改个人资料、发表管理博客、管理收藏的博客以及针对用户喜好推荐博客。）。

Hadoop集群搭建提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Hadoop集群搭建前言一、pandas是什么？二、JDK安装1.下载JDK2.安装JDK1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内

Hadoop集群搭建的准备第一章 Hadoop集群搭建的准备文章目录Hadoop集群搭建的准备前言一、Linux网络配置1.查看五个VMware相关服务是否开启。2.VMware Workstation Pro软件设置。3.windows下，打开设置中的“网络和Internet”。4.将虚拟机完整克隆两台。5.Linux下的配置。（1）配置主机名。（2）配置IP映射，IP的可选范围在第二步中的“起始IP地址”与“结束IP地址”之间。6.设置网卡设备的Mac地址。（1）查看虚拟机Mac地址。（2）打开虚

前言数据集：一、对数据集进行训练集和测试集划分从数据集中无放回地随机抽选80%的样本作为训练集，剩下的20%划分为测试集。将训练集和测试集分别存放到train_data.csv和test_data.csv文件中。二、ID3算法实现1.实现ID3决策树算法的首要工作是数据的特征选择，需要在特征集合中挑选出能最大化减小数据样本集不确定程度的特征，将之作为节点。而不确定程度可以用信息增益来表示。根据熵和条件熵的概念，可以得知熵与条件熵的差就是样本集不确定程度的减少量，即信息增益。这里创建entro

页面置换算法在一个请求分页系统中，分别采用最佳置换算法、先进先出置换算法、最近最久未使用置换算法(LRU)时，假如一个作业的页面走向为4、3、2、1、4、3、5、4、3、2、1、5，当分配给该作业的物理块数M分别为3和4时，试计算在访问过程中所发生的缺页次数和缺页率，并比较所得结果。实验步骤与记录（一）准备阶段因为作业的页面走向是一串数字，因此可以定义一个数组 pageString[] 来储存将要发送请求的页号，同时还需要定义一个数组 inStore[] 作为分配给该作业的内存物理块以及定义一个变量