- 博客(26)
- 收藏
- 关注
RSS订阅原创 windows安装JDK、maven 和 IDEA
Java程序必须运行在JVM之上，或者说java.exe就是JVM。所以，使用Java的第一件事情是安装JDK。
2023-08-31 12:07:45
171
原创 Spark环境搭建部署全流程（Linux），看这一篇就够了
本篇文章将给各位展示如何快速地在linux上搭建spark，本文搭建的环境为以下是我总结出的，如果是新手，请按流程走完，如果是有过搭建经验的，可根据所需点击相应链接。
2023-08-09 11:42:16
1080
原创 Spark on YARN两种运行模式的演示
前面搭建好了Spark on YARN环境，接下来自然要使用这个集群，发挥它的计算性能。和模式。简单来讲，Cluster模式适用于生产环境，稳定性高，通讯效率高，但日志查看不方便；Client模式的日志输出在客户端，查看方便，但其稳定性受客户端进程影响，不适于生产环境。本篇将演示两种运行模式提交程序的过程。
2023-08-09 11:41:39
302
原创 Spark on YARN环境部署(完整版)
本篇的环境是干净的，事先没有安装过spark。节点共有node1，node2，node3三台，已完成各种集群化准备。
2023-08-09 11:41:19
1121
原创 Spark on YARN环境部署
前面我们安装了StandAlone HA模式的spark，但在企业中，最为常用的spark模式是Spark on YARN，如果你已经安装了StandAlone HA，不用担心Spark on YARN的部署需要从头来过，因为它的配置比较简单，所需要的部署条件在就已经满足了。如果你是或 是。
2023-08-09 11:41:02
426
原创 Spark StandAlone HA 环境搭建
本篇将介绍如何快速搭建 Spark StandAlone HA环境，如果是一直跟着我的文章来到这的，就直接看下面内容即可。
2023-08-09 11:40:37
159
原创 Zookeeper安装部署
概念：系统中某个节点发生故障，对整个系统的运行产生影响。如果master所在的节点发生宕机。没有进程来负责集群资源规划，整个集群也就无法获得资源去计算，则整个集群处于停滞状态。概念：简单来讲，Zookeeper最初是为了解决单点问题而存在的，现已成为分布式的集群化软件，主要为一些分布式软件应用提供一致性协调服务配置维护、域名服务、分布式同步、组服务等。特点：可以在多台服务器上部署，并协同组成分布式集群一起工作。场景。
2023-08-09 11:40:18
117
原创 standalone集群程序测试
4040是一个Application运行过程中临时绑定的端口，用于查看当前任务的状态。因此当程序运行结束时，4040会被注销，无法继续查看。此外，当同时运行多个Application时，4040会顺延到4041，4042……8080是standalone模式下master进程所在的端口，用于查看master的状态，这个是一个守护进程，程序运行结束后，它仍然存在。18080默认是历史服务器的端口，由于4040在程序运行完后会被注销，但我们又想查看某个程序的运行状态，可以通过18080去查看。
2023-08-09 11:39:56
89
原创 Anaconda安装教程
我参考这个博主，做出以下简单介绍。简单地讲，它就是一个开源的、专注于数据分析的Python发行版本，内部包含了包管理器conda常见软件库(包)python解释器等各种依赖项。优点conda自带丰富功能包，避免了频繁的pip操作；conda管理包的功能比pip更强，且支持多种语言；conda能为不同版本的库建立不同的虚拟环境，可以在不同环境间切换，而不像pip一样，所有的库(包括版本差异)都安装在同一个路径内；Anaconda自带python解释器和Spyder。
2023-08-09 11:37:22
821
原创 hadoop设置主机映射、免密操作
前面在给其它节点传输文件时，我们需要输入节点的ip，当需要给多个节点传输文件时，就会显得不方便，而且节点之间传输文件/互相登录都需要输入密码，效率低。所以我们需要进行和等其它操作。
2023-07-29 11:26:17
845
原创 linux安装JDK和Hadoop
前面我们实现了虚拟机的安装，也为每个节点配置的网络，使其能上网。但这样还远不能让集群进行工作，因为我们并没有为每个节点安装hadoop软件，又怎么使用它所提供的服务呢？下载完软件后，如何让虚拟机找到hadoop路径等？本篇将讲述如何安装jdk和hadoop。
2023-07-29 11:26:01
295
原创 Namenode格式化
先前我们在配置文件里指定了文件系统为默认的HDFS，但此时hdfs在磁盘中并不存在，我们需要进行对文件系统进行格式化。
2023-07-29 11:25:01
1639
1
原创 hadoop的集群启动与关闭指令
前面我们搭建好了集群，现在可以实现启动和关闭集群，实际上，启动集群就是在每台机子上启动相应的进程，这些进程我们通常称呼它们为角色，角色又有主从之分。我们要想使用集群，就必须得有这样的角色，就好比一个企业里的各种设施和配置都准备好了，得有员工才能工作，最终干活的肯定是这些员工（角色）。
2023-07-29 11:23:36
1082
原创 Hadoop集群搭建全流程，看这一篇就够了
本篇文章将给各位展示如何快速地搭建的hadoop集群，本文搭建的环境为，以下是我总结出的，如果是新手，请按流程走完，如果是有过搭建经验的，可根据所需点击相应链接。
2023-07-29 11:23:23
339
原创 hive与hadoop整合 + mysql安装
Hive是基于Hadoop的软件，必须确保hadoop环境搭配好，并且hadoop集群是健康可用的(即启动集群后等待安全模式关闭，大约30秒)。
2023-07-27 11:33:38
199
1
原创 Hive安装
hive和mysql一样，只需在一台机子上安装即可，它本身不是分布式软件，却具有分布式功能。另外，由于选择的是远程模式，所以metastore需要单独配置和单独启动。
2023-07-27 11:33:11
212
1
原创 Metastore服务启动 + hiveserver服务启动
由于使用的是远程模式，因此metastore需要单独配置和启动，前面已经搞定配置了，本篇讲如何以及。
2023-07-27 11:32:12
2346
2
原创 DataGrip连接hive教程
虽然hive官方提供了两种的客户端，但是页面不友好、智能程度低，因此我们往往使用能够提供良好图形页面的第三方客户端。
2023-07-27 11:26:55
1986
2
原创 hive安装部署全流程，看这一篇就够了
本篇文章将给各位展示如何快速地完成hive安装部署，本文搭建的环境为**Vmware 16 pro 下的CentOS 7 linux**，以下是我总结出的**hive搭建流程**，如果是新手，请按流程走完，如果是有过搭建经验的，可根据所需点击相应链接。
2023-07-27 11:26:32
96
原创 Linux安装MySQL全流程（含yum 和 rpm）
本文将介绍如何安装MySQL，搭建环境为VMware 16 pro下的CentOS 7 linux，远程连接工具是xshell。在安装之前，我们要首先确认我们的linux上先前有没有安装mysql，如果有则需要卸载掉原有的mysql，否则会与原先版本冲突，造成数据丢失等问题，至于**如何卸载MySQL放到文章末尾去讲**。
2023-07-23 19:08:52
390
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人