0o小禹o0-CSDN博客

原创 ElasticSearch学习笔记

文章目录一、ElasticSearch是什么二、ElasticSearch可以用来做什么三、ES核心概念1. 面向文档的ES2.物理设计3.逻辑设计四、分片和副本1.分片2.副本3.脑裂问题五、分布式文档1.路由2.文档的写操作3.搜索文档(单个文档)的过程4.全文搜索一、ElasticSearch是什么Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。二、ElasticSearch可以用来做什么搜索分析

2021-03-12 10:25:50 112

原创 HBase学习笔记

文章目录一、HBase是什么二、HBase逻辑结构三、HBase物理结构-store的存储方式四、HBase数据模型五、HBase基础架构六、HBase详细架构七、HBase数据流程1.写流程2.读流程一、HBase是什么一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库二、HBase逻辑结构Row Key为字典序排列Region为横向切分的分片，图中有3个Regionstore是真正要存的东西，图中有6块，他们才是存储在文件中的三、HBase物理结构-store的存储方式

2021-03-09 09:18:37 121 1

原创 Kafka学习笔记整理

文章目录一、Kafka概述二、Kafka基础架构三、Kafka文件存储一、Kafka概述分布式发布订阅消息系统，和消息系统类似，属于消息中间件。通俗的感受一下：eg:妈妈：生产者你：消费者馒头：数据流、消息正常情况下：生产一个，消费一个其他情况：一直生产，你吃到某一个馒头时，你卡住了(机器故障)，馒头就丢了(数据丢失) 一直生产，做馒头速度快，你吃不及，馒头也就丢失了拿个碗/篮子，馒头做好以后先放到篮子里，你要吃的时候去篮子里面取出来吃篮子/碗： Kafka 当

2021-03-06 17:39:55 96 1

原创 Zookeeper学习笔记

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码

2021-03-01 13:53:44 85

原创 Hadoop的架构理解以及相关扩展

文章目录前言一、HDFS1.HDFS是什么2.为什么这么设计HDFS3.HDFS架构4.HDFS副本相关5.HDFS读写数据流程6.HDFS-checkpoint7.HDFS-SaveMode8.HDFS-HA二、MapReduce1.MapReduce是什么2.MapReduce编程模型1.简单理解2.两个节点进行分布式计算的过程3.设计构思3.MapReduce代码过程三、Yarn1.Yarn是什么2.三个主要组件3.执行流程4.高可用前言Hadoop是一个由Apache基金会所开发的分布式系统基

2021-02-20 16:42:27 284 1

原创 Flink的架构理解和相关扩展

文章目录前言一、Flink是什么？二、Flink的优势是什么？1.高吞吐、低延迟、高性能2.支持事件时间概念3.支持有状态计算4.支持高度灵活的窗口（Window）操作5.基于轻量级分布式快照（CheckPoint）实现的容错6.基于JVM实现独立的内存管理7.Save Point(保存点)三、Flink的应用场景1.事件驱动典型的事件驱动类应用2.数据分析3.管道式ETL四、Flink的内部分析1.Flink架构1.Flink集群剖析2.Tasks和算子链3.Task Slots 和资源总结2.水印wat

2021-02-19 16:08:38 366

原创 gitlab+jenkins+maven的自动化部署

版本说明Jenkins:2.222.4Jdk:1.8Git:2.27.0Maven:3.6.3步骤流程Gitlab安装部署、创建项目配置免密连接Jenkins安装部署**连通gitlab与jenkinsGitlab安装部署、创建项目1.Gitlab安装部署、创建项目请自行百度2.这里展示已创建好的项目示例:配置免密连接1.需要连接gitlab的服务器配置RSA SSH keys[当然也可以配置ED25519等其他SSH keys]下面展示一些内联代码片。[root@lo.

2020-06-17 16:37:49 417

原创 python2和python3在编码方面的区别

python2和python3在编码方面的区别unicode和utf8的由来python2的编码方式总结python3的编码方式解释一下unicode和utf8的由来任何文本都需要转化为数字才能被计算机识别，但是各个国家的语言不同，所以产生了许多中编码方式，比如美国的ASCII，中国的GB2312等等编码，每个国家都编制自己的一套代码，这样语言混乱就出现了乱码，于是unicode出现了，它把所有的编码囊括其中。但是问题也出现了，unicode的位数是相同的，而英文的一个字符是一个字节，中文的一个字符是

2020-05-26 11:29:22 180

weixin_44490595的博客