- 博客(18)
- 收藏
- 关注
RSS订阅原创 Zookeeper：ZAB协议-角色分配-存储结构-监听机制
一、ZAB协议1. 概念ZAB协议是专门为Zookeeper设计的一种 支持崩溃恢复的原子广播协议。其借鉴了Paxos算法。Zookeeper基于该协议，实现了一种主备模式的系统架构，保证了分布式集群中 各副本之间的数据一致性。2. 三个阶段发现：Zookeeper集群中，必须选出一个Leader进程，其需要维护一个Follower的可用列表。同步：Leader需要负责将自身的数据同步给Follower，做到多副本存储。体现了CP原则。广播：Leader接收到客户端请求后，会广播给所有的Fol
2022-04-15 00:00:00
127
原创 Nginx：简介-负载均衡-正向代理-反向代理-内网穿透-网络共享-Session一致性问题
1. 什么是Nginx？可以用来做什么？Nginx 是一款轻量级的Web服务器、反向代理服务器。可用作日志收集的服务器。2. 常见功能（1）负载均衡Nginx 充当一个请求分发器，将请求均匀的分发到压力较小的服务器上，避免单个服务器压力过大。（2）正向代理正向代理客户端，服务端不知道是那个客户端发来的请求。（3）反向代理反向代理服务端，客户端不知道是那个服务端反馈的结果。（4）内网渗透若外网服务器想访问本...
2022-04-14 00:00:00
209
原创 对 Paxos算法 和 Raft算法 的简单理解
文章目录1 Paxos算法1.1 用途1.2 模型1.2.1 无主模型1.2.2 有主模型2 Raft 算法2.1 用途2.2 核心思想2.3 角色分配2.4 特点1 Paxos算法1.1 用途Paxos算法是用于 解决分布式一致性问题的，即一个分布式系统中的各个进程 是如何就某个值达成一致的。1.2 模型 前提： 在一个小岛上，议员数量固定不可变。 每一个提议都有固定编号，编号保持增长，且不可回退。 每个议员只会同意大于自身记录的提议编号的新提议。1.2.1 无主模型 场
2022-04-13 00:00:00
209
原创 Flume理论知识：简介-使用场景-架构-执行流程-特性-事务-优点
一、简介Flumn 是一个 分布式的、可靠的、高可用的 海量日志聚合 系统。支持 自定义 数据的 生产方 和 接收方，并可以对数据进行简单的处理。初始版本统称为 Flumn OG；重构版本 称为 Flumn NG。二、使用场景对于线上数据，一般是 存储到磁盘（落地） 或者 通过Socket 传输给另一个系统。但在实际应用中，我们难以通过 线上应用 或 服务 去修改端口，从而实现向Kafka里写数据。于是 需要 借助 Flumn 来实现向Kafka里面写数据。三、体
2022-04-06 21:38:30
474
原创 Azkaban理论知识：简介-产生背景-架构-部署模式-与Oozie对比
文章目录一、简介二、产生背景三、架构四、部署模式五、与Oozie的对比六、若任务挂了怎么办？一、简介Azkaban 是一个任务调度器，用于 运行Hadoop作业的 批处理工作流 的 作业调度。二、产生背景大数据的计算、分析和处理，一般都是由多个任务单元组成的，且多个任务单元之间存在强依赖关系。上游任务成功执行完毕，下游任务 拿到上游的结果后 才能开始执行。为了保证处理结果的有效性和精确性，就必须让任务严格按照上下游关系有序的、顺序的执行。最简单的解决方式是：事先预估好每个模块执行所需要的时间，
2022-04-06 19:20:06
1917
原创 DataX理论知识：简介-框架设计-数据抽取策略
文章目录一、简介二、框架设计三、数据抽取策略一、简介DataX 是一个 异构数据源 离线同步工具。可实现 各种 异构数据源 之间 稳定高效的数据同步功能。设计理念：从 蜘蛛网 到 星型链路，DataX充当一个中转站的角色。二、框架设计Reader ：数据采集模块，负责采集数据源的数据，并发送给 Framework。Framework(channel)：数据传输管道。Writer：数据写入模块，负责不断从管道获取数据，并写入目的端。三、数据抽取策略小表 —— 周期性全量抽取。大表 ——
2022-04-06 17:12:33
929
原创 Sqoop理论知识：介绍-产生背景-架构-数据导入导出流程
文章目录一、简介二、产生背景三、架构四、数据导入过程五、数据导出过程一、简介Sqoop是一个数据迁移工具。是一个MapReduce的代码框架。可以实现 数据在 关系型数据库 和 Hadoop 之间的相互 导入和导出。 二、产生背景对于 关系型数据库 和 Hadoop（HDFS/Hive/HBase） 之间的数据传递，我们通常的解决方案是： 根据不同的需求来编写MapReduce来完成。但是这种方案存在明显的局限性：我们每次都需要编写MR，学习成本高，使用也不方便。于是诞生了一种MR的代码框架
2022-04-05 23:06:14
2183
原创 009. Linux的网络信息
文章预览：一、主机名称二、DNS解析三、网络相关指令四、防火墙五、加密算法1. 不可加密算法2. 对称加密算法3. 非对称加密算法本文介绍Linux中与网络相关的一些信息。一、主机名称查看当前主机名称：hostname我们可以对虚拟机的名称进行修改，有两种方式：临时修改——只在本次服务中有效hostname 临时名字永久修改——修改配置文件。vi /etc/hostname二、DNS解析域名，通俗的讲就是网址，是对IP地址的映射，方便我们的记忆。若没有域名，
2022-01-06 18:51:47
293
原创 008. Window与Linux之间数据传输，文件大小和解压缩
本文介绍三个内容：Window与Linux之间是如何进行数据传输的；文件大小信息的查看方式和swap分区介绍；文件解压缩方法的介绍。一、Window与Linux之间的信息传输1. window 与 linux 之间手动安装插件：yum install lrzsz -y以下操作均在linux命令行窗口执行：window 向 linux 传输：rzlinux 向 window传输：sz 文件名图示：也可以使用Xftp应用。2. linux与linu.
2022-01-06 16:10:22
570
原创 007. Linux常用命令演示
本文介绍Linux的文件系统和常用命令，并做一些简单的实操演示。一、Linux命令介绍Linux命令 与 参数 之间 必须 用 空格 隔开；严格区分大小写。输入 错误指令 或 未安装指令 会报错。如图：命令的 帮助文档 有两种： help 内置命令的帮助文档。 man 外部命令的帮助文档.
2022-01-06 15:42:07
550
原创 006. 虚拟机连接Xshell和XEtp
单纯使用虚拟机，通过命令的方式来操作系统，用户体验感不强，这里有两款应用，可以优化我们的使用体验感。Xshell： 负责向虚拟机输送命令，可以同时操作多台虚拟机。XEtp： 负责向虚拟机传送文件，可以通过图形化的界面来管理文件。一、连接Xshell启动软件，创建会话。填写对应虚拟机的信息；主机(H)对应虚拟机的IP地址。填写虚拟机 账号和密码；然后点击“确定”。填写完毕后，点击“连接”。出现提示，选择“接受并保存”；若 连接失败，查看该状态，保.
2022-01-06 10:51:57
793
原创 005. 虚拟机的快照与克隆
本文介绍虚拟机拍摄快照和克隆虚拟机的操作步骤，以及如何设置克隆机的基本配置。一、快照快照是在虚拟机关机的状态下，记录当前虚拟机的状态。可以理解为是一个备份。操作流程如下：将虚拟机关机；右击 待克隆的虚拟机 — 选择“快照” — 拍摄快照编辑快照名称，言简意赅的描述当前虚拟机状态。编辑描述信息，简述当前虚拟机的环境配置等信息，方便以后查看。编辑完成后，点击“拍摄快照”。可以通过“快照管理器”来查看当前的快照信息。操作至此，克隆完毕。我们可以选中某
2022-01-06 10:11:24
3331
原创 004. 虚拟机常见配置：网络-防火墙-软件安装限制-关机
本文讲解虚拟机的常见配置包含：网络、防火墙、软件安装限制、关机方式。一、网络查看自己的虚拟网卡地址步骤：编辑 — 虚拟机网络编辑器 — vmnet8 — NAT设置在命令行执行指令：vi /etc/sysconfig/network-scripts/ifcfg-ens33修改以下参数：修改完成后，Esc + :wq 保存退出。测试配置是否成功；依次执行下列命令。1 ip addr2 systemctl restart network
2022-01-05 22:54:22
707
原创 003. 在虚拟机中安装操作系统
在虚拟机中安装操作系统首先明确OS文件在本地的存储位置。设置镜像路径：虚拟机设置–CD/DVD(IDE)–启动时连接–使用ISO映像文件开启虚拟机，选择 Install CentOS7语言选择English设置时区，虚拟机名称，设置分区配置完成后，选择下一步，设置密码。等待安装。安装完成，点击Reboot重启。...
2022-01-04 22:56:19
355
原创 002. 在VMWare中创建虚拟主机
在VMWare中创建虚拟主机Workstation — > 文件 — > 新建虚拟机选 自定义，下一步；下一步；稍后安装操作系统。选 Linux(L)，CentOS 7 64位；编辑 虚拟机名称；选择存储位置。选择 处理器数量和内核数量；内核总数=处理器数量*每个处理器的内核数量。为虚拟机分配内存，按需选择。选择 使用网络地址转换（NAT）选 LSI Logic（推荐）选 SCSI (推荐)选 创建新虚拟磁盘；
2022-01-04 08:29:07
791
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人