Hadoop+spark学习笔记
文章平均质量分 88
Hadoop、spark的搭建
开朗小哥
这个作者很懒,什么都没留下…
展开
-
第五章 Hive的安装与配置
系列文章:第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署(2n+1台虚拟机)第四章 Hadoop高可用集群搭建(HA)待更新第九章 spark独立模式部署(Standalone)第十章 spark配置历史服务第十一章 搭建Spark高可用(HA)第十二章 spark配置Yarn模式(混合部署模式)待更新文章目录前言一、嵌入模式。二、本地模式。1.配置Hadoop集群的配置文件(配置文件都保存在/export/servers/ha原创 2022-04-30 21:40:39 · 5216 阅读 · 0 评论 -
第十二章 spark配置Yarn模式(混合部署模式)
系列文章:第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署(2n+1台虚拟机)第四章 Hadoop高可用集群搭建(HA)待更新第九章 spark独立模式部署(Standalone)第十章 spark配置历史服务第十一章 搭建Spark高可用(HA)第十二章 spark配置Yarn模式待更新文章目录Spark设置Yarn模式1.停止集群。2.修改Hadoop的配置文件。3.修改spark-env.sh文件。4.启动HDFS和YARN原创 2022-02-20 17:47:52 · 2582 阅读 · 0 评论 -
第一章 Hadoop集群搭建前的准备
Hadoop集群搭建的准备第一章 Hadoop集群搭建的准备文章目录Hadoop集群搭建的准备前言一、Linux网络配置1.查看五个VMware相关服务是否开启。2.VMware Workstation Pro软件设置。3.windows下,打开设置中的“网络和Internet”。4.将虚拟机完整克隆两台。5.Linux下的配置。(1)配置主机名。(2)配置IP映射,IP的可选范围在第二步中的“起始IP地址”与“结束IP地址”之间。6.设置网卡设备的Mac地址。(1)查看虚拟机Mac地址。(2)打开虚原创 2021-09-08 18:39:51 · 1798 阅读 · 0 评论 -
第二章 Hadoop集群搭建
Hadoop集群搭建提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录Hadoop集群搭建前言一、pandas是什么?二、JDK安装1.下载JDK2.安装JDK1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内原创 2021-09-14 09:06:57 · 1714 阅读 · 0 评论 -
第三章 Zookeeper分布式集群部署(2n+1台虚拟机)
文章目录一、下载安装包二、上传安装包,并解压至/export/servers目录下三、修改配置文件四、配置环境变量五、将zookeeper相关文件和修改后的/etc/profile文件分发到其他虚拟机。六、zookeeper服务的启动与关闭一、下载安装包 清华镜像下载连接:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/二、上传安装包,并解压至/export/servers目录下 进入/export/sofware/目录,用rz命原创 2022-02-14 23:06:34 · 1271 阅读 · 0 评论 -
第四章 搭建Hadoop高可用集群(HA)
系列文章:第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署(2n+1台虚拟机)第四章 Hadoop高可用集群搭建(HA)待更新文章目录前言一、搭建普通Hadoop集群,设三台主机名为node1,node2,node3。二、Hadoop集群配置1.配置Hadoop集群的配置文件(配置文件都保存在/export/servers/hadoop-2.7.4/etc/hadoop目录下)(1)配置Hadoop集群主节点(这里将node1作为主节点)原创 2022-02-15 23:28:16 · 1994 阅读 · 0 评论 -
第九章 spark独立模式部署(Standalone)
系列文章:第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署(2n+1台虚拟机)第四章 Hadoop高可用集群搭建(HA)待更新文章目录一、下载安装包二、上传安装包,并解压至/export/servers目录下三、修改配置文件(先进入spark-3.1.2的conf目录)1、修改slaves文件,执行以下操作。2、修改spark-env.sh文件,执行以下操作。3、将配置好后的spark-3.1.2安装包分发到其他虚拟机。4、启动集群。一原创 2022-02-17 10:33:39 · 2241 阅读 · 0 评论 -
第十章 spark配置历史服务
系列文章:第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署(2n+1台虚拟机)第四章 Hadoop高可用集群搭建(HA)待更新文章目录修改配置文件(先进入spark-3.1.2的conf目录)1、修改spark-defaults.conf文件。2、修改spark-env.sh文件,执行以下操作。3、将配置好后的配置文件分发到其他虚拟机。4、启动集群和历史服务。5、提交应用测试集群。由于spark-shell停止后,集群监控node1:4原创 2022-02-18 08:22:16 · 2170 阅读 · 3 评论 -
第十一章 搭建Spark高可用(HA)
spark高可用(HA)Spark高可用Spark高可用前提:进入spark目录(这里是/export/servers/spark-3.1.2)1.停止集群。sbin/stop-all.sh2.三台虚拟机均开启Zookeeper。进入Zookeeper的bin目录(这里是/export/servers/zookeeper-3.4.10/bin)./zkServer.sh start3.修改spark-env.sh文件,添加如下配置:#注释以下内容#SPARK_MASTER_HOST=原创 2022-02-19 11:49:56 · 2132 阅读 · 0 评论 -
博客推荐系统(适合初学者的javaweb+hadoop结课设计)
博客推荐系统是向用户推荐可能感兴趣的博客的系统。分为游客状态和登录状态(功能:展示最新的博客、推荐热度最高的博客、按分类推荐博客、登录注册、点赞收藏、修改个人资料、发表管理博客、管理收藏的博客以及针对用户喜好推荐博客。)。原创 2022-01-13 19:11:22 · 3022 阅读 · 2 评论