- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 ZooKeeper基本介绍
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理。Zookeeper的角色Zookeeper的设计目的1.最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。2 .可靠性：具有简单、健壮、良好的性能，如果消息m被到一台
2020-10-29 15:18:28
311
原创 Druid任务处理流程
Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。流任务（stream task）的处理过程流任务的正常终止过程流任务的异常终止过程批任务的处理过程批任务的正常终止过程批任务的异常终止过程同流式任务异常终止...
2020-10-29 14:53:59
505
原创 敏捷开发-Scrum和实践
软件开发所面临的挑战和任务是在现有的时间和有效的资源范围内，寻找解决实际问题的切实可行的方案。在众多软件项目中，缺乏合理的时间进度是造成项目滞后的最主要的原因，它比其他所有因素加起来的影响还大。导致这种普遍性灾难的原因是什么呢？首先：我们对估算技术缺乏有效的研究，更加严肃地说，它反映了一种悄无声息，但并不真实的假设一切都将运作良好。第二：我们采用的估算技术隐含地假设人和月可以互换，错误地将进度与工作量相互混淆。第三：由于对自己的估算缺乏信心，软件经理通常不会有耐心持续地进行估算这项工作。第四：对进
2020-09-18 19:12:45
1052
原创 Flink exact-once和容错机制
对于一个分布式系统来说，单个进程或是节点崩溃导致整个Job失败是经常发生的事情，在异常发生时不会丢失用户数据并能自动恢复才是分布式系统必须支持的特性之一。Flink checkpoint
2020-09-17 11:25:44
562
原创 Flink架构，功能快速介绍
这里写自定义目录标题Flink简介Flink优势统一的批处理与流处理系统Flink简介Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务：DataSet API: 对静态数据进行批处理操作，支持Java、Scala和Python。DataStream API：对数据流进行流处理操作，支持Java和Scala。Table API：对结构化数据进行查询操作，将结构化
2020-09-16 16:05:22
650
原创 ElasticSearch日常维护命令
集群的状态查看查看es各个节点的状态，包括负载和内存：http://IP:9201/_cat/nodes?v查看es磁盘空间占用情况：http://IP:9201/_cat/allocation?v查看健康状况http://IP:9201/_cat/health?v索引的关闭和打开查看所有索引http://IP:9200/_cat/indices打开索引http://IP:9200/{索引名称}/_open关闭索引http://IP:9200/{索引名称}/_clos.
2020-05-30 20:58:40
612
转载 影响elasticsearch性能因素总结(转载)
一：硬件方面在预算充足的情况下。特别是一些高并发业务的搜索。硬件层面占用整个elasticsearch性能空间很大比例。1）内存：单实例的情况下，尽量分配32G，排序和统计都是以及内存计算的。2）硬盘：在条件允许下，尽量使用一些高性能io的硬盘，SSD3）CPU：在高并发的情况下，cpu的计算能力要求就很高了。cpu配置尽量高。4）网络：当然这个越大越好。。毕竟服务交互通过http 。网络传输是个很重要的因数二：OS 系统优化。1）选择CentOS 64位操作系统CentOS6.5/
2020-05-30 20:27:21
1377
原创 ElasticSearch原理浅析
Elasticsearch是一个基于Apache Lucene™的分布式可扩展的实时搜索和分析引擎。优点实时分析的分布式搜索引擎，效率极高。可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。它是一个面向文档的数据库，既然是数据库那就来说一下它和数据库的对应关系：关系型数据库数据库表行列ElasticSearch索引类型文档字段Elasticsearch是如何做到快速索引的呢？Elasticsearch采用了倒排索引的方式，这种方式比
2020-05-30 20:11:20
280
原创 浏览器禁用第三方Cookie
苹果公司前不久对 Safari 浏览器进行一次重大更新，这次更新完全禁用了第三方 Cookie，这意味着，默认情况下，各大广告商或网站将无法对你的个人隐私进行追踪。而微软和 Mozilla 等也纷纷采取了措施禁用第三方 Cookie，但是由于这些浏览器市场份额较小，并没有给市场带来巨大的冲击。从 2017 年截至 2019 年底， Google 面临的罚款总额已经超过 93 亿欧元，其中一大原因便是侵犯用户数据隐私。迫于巨大压力，Google Chrome 官方团队前不久也宣布，为了提升用户隐私和安全，未
2020-05-28 12:06:01
6813
原创 DynamoDB介绍
1. DynamoDB介绍DynamoDB特点:AWS全面管理的NoSQL数据库服务全部基于solid-state drives(SSDS)没有存储空间上限可以支持任意数量的每秒并发吞吐量稳定的低延迟性能:单位数ms的响应延迟同时支持Key-Value和Document数据模型自动在三个AZ复制数据低成本DynamoDB的数据模型可以说是BigTable与Oracle NoS...
2019-07-28 13:33:26
6079
原创 RocksDB原理介绍
RocksDBRocksDB介绍B+树LSM树（Log-Structured Merge Tree）LevelDB特点RocksDB对LevelDB的优化RocksDB 写入与删除RocksDB 读取记录RocksDB介绍RocksDB是facebook开源的NOSQL存储系统，其设计是基于Google开源的LevelDB，优化了LevelDB中存在的一些问题，其性能要比LevelDB强，设计...
2019-07-28 12:26:48
11725
DyanmoDB在广告监测系统中的实践.docx
2019-08-02
JVM内存管理-GC模型-编写GC友好的代码
2019-03-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人