自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 资源 (3)
  • 收藏
  • 关注

原创 ZooKeeper基本介绍

Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储, Zookeeper 作用主要是用来维护和监控存储的数据的状态变化,通过监控这些数据状态的变化,从而达到基于数据的集群管理。Zookeeper的角色Zookeeper的设计目的1.最终一致性:client不论连接到哪个Server,展示给它都是同一个视图,这是zookeeper最重要的性能。2 .可靠性:具有简单、健壮、良好的性能,如果消息m被到一台

2020-10-29 15:18:28 10

原创 Druid任务处理流程

Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。流任务(stream task)的处理过程流任务的正常终止过程流任务的异常终止过程批任务的处理过程批任务的正常终止过程批任务的异常终止过程同流式任务异常终止...

2020-10-29 14:53:59 9

原创 敏捷开发-Scrum和实践

软件开发所面临的挑战和任务是在现有的时间和有效的资源范围内,寻找解决实际问题的切实可行的方案。在众多软件项目中,缺乏合理的时间进度是造成项目滞后的最主要的原因,它比其他所有因素加起来的影响还大。导致这种普遍性灾难的原因是什么呢?首先:我们对估算技术缺乏有效的研究,更加严肃地说,它反映了一种悄无声息,但并不真实的假设一切都将运作良好。第二:我们采用的估算技术隐含地假设人和月可以互换,错误地将进度与工作量相互混淆。第三:由于对自己的估算缺乏信心,软件经理通常不会有耐心持续地进行估算这项工作。第四:对进

2020-09-18 19:12:45 130

原创 Flink exact-once和容错机制

对于一个分布式系统来说,单个进程或是节点崩溃导致整个Job失败是经常发生的事情,在异常发生时不会丢失用户数据并能自动恢复才是分布式系统必须支持的特性之一。Flink checkpoint

2020-09-17 11:25:44 58

原创 Flink架构,功能快速介绍

这里写自定义目录标题Flink简介Flink优势统一的批处理与流处理系统Flink简介Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了诸多更高抽象层的API以便用户编写分布式任务:DataSet API: 对静态数据进行批处理操作,支持Java、Scala和Python。DataStream API:对数据流进行流处理操作,支持Java和Scala。Table API:对结构化数据进行查询操作,将结构化

2020-09-16 16:05:22 52

转载 架构师的自我修养(转)

架构师的定义在互联网圈里架构师这个名号的火热程度堪比产品经理,在产品经理没火之前就已经风生水起。乔布斯是苹果的产品架构师,比尔盖茨是微软的首席架构师,马化腾也号称腾讯的首席架构师。有些人会觉得架构师很神秘,不知道整天脑袋里在想什么。那么架构师到底是什么样的人?聚焦到IT技术领域,基本可以还原,架构师的本质就是更高级更资深的程序员,架构师的能力要求在程序员或者说工程师之上,是一脉相承,有延续性的。有些大厂因为层级较多(当然也是有更顶尖的人才),高级工程师跳到小厂做个架构师游刃有余。所以我们并不纠

2020-05-30 22:26:16 477

原创 ElasticSearch日常维护命令

集群的状态查看查看es各个节点的状态,包括负载和内存:http://IP:9201/_cat/nodes?v查看es磁盘空间占用情况:http://IP:9201/_cat/allocation?v查看健康状况http://IP:9201/_cat/health?v索引的关闭和打开查看所有索引http://IP:9200/_cat/indices打开索引http://IP:9200/{索引名称}/_open关闭索引http://IP:9200/{索引名称}/_clos.

2020-05-30 20:58:40 192

转载 影响elasticsearch性能因素总结(转载)

一:硬件方面在预算充足的情况下。特别是一些高并发业务的搜索。硬件层面占用整个elasticsearch性能空间很大比例。1)内存:单实例的情况下,尽量分配32G,排序和统计都是以及内存计算的。2)硬盘:在条件允许下,尽量使用一些高性能io的硬盘,SSD3)CPU:在高并发的情况下,cpu的计算能力要求就很高了。cpu配置尽量高。4)网络:当然这个越大越好。。毕竟服务交互通过http 。网络传输是个很重要的因数二:OS 系统优化。1)选择CentOS 64位操作系统CentOS6.5/

2020-05-30 20:27:21 280

原创 ElasticSearch原理浅析

Elasticsearch是一个基于Apache Lucene™的分布式可扩展的实时搜索和分析引擎。优点实时分析的分布式搜索引擎,效率极高。可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据。它是一个面向文档的数据库,既然是数据库那就来说一下它和数据库的对应关系:关系型数据库数据库表行列ElasticSearch索引类型文档字段Elasticsearch是如何做到快速索引的呢?Elasticsearch采用了倒排索引的方式,这种方式比

2020-05-30 20:11:20 126

原创 浏览器禁用第三方Cookie

苹果公司前不久对 Safari 浏览器进行一次重大更新,这次更新完全禁用了第三方 Cookie,这意味着,默认情况下,各大广告商或网站将无法对你的个人隐私进行追踪。而微软和 Mozilla 等也纷纷采取了措施禁用第三方 Cookie,但是由于这些浏览器市场份额较小,并没有给市场带来巨大的冲击。从 2017 年截至 2019 年底, Google 面临的罚款总额已经超过 93 亿欧元,其中一大原因便是侵犯用户数据隐私。迫于巨大压力,Google Chrome 官方团队前不久也宣布,为了提升用户隐私和安全,未

2020-05-28 12:06:01 655

原创 DynamoDB介绍

1. DynamoDB介绍DynamoDB特点:AWS全面管理的NoSQL数据库服务全部基于solid-state drives(SSDS)没有存储空间上限可以支持任意数量的每秒并发吞吐量稳定的低延迟性能:单位数ms的响应延迟同时支持Key-Value和Document数据模型自动在三个AZ复制数据低成本DynamoDB的数据模型可以说是BigTable与Oracle NoS...

2019-07-28 13:33:26 634

原创 RocksDB原理介绍

RocksDBRocksDB介绍B+树LSM树(Log-Structured Merge Tree)LevelDB特点RocksDB对LevelDB的优化RocksDB 写入与删除RocksDB 读取记录RocksDB介绍RocksDB是facebook开源的NOSQL存储系统,其设计是基于Google开源的LevelDB,优化了LevelDB中存在的一些问题,其性能要比LevelDB强,设计...

2019-07-28 12:26:48 5027

DyanmoDB在广告监测系统中的实践.docx|DyanmoDB在广告监测系统中的实践.docx

Amazon DynamoDB是一个完全托管的NoSQL数据库服务,可以提供快速的、可预期的性能,并且可以实现无缝扩展。 本文介绍DynamoDB的原理,接口 在广告监测系统中的使用,以及踩的技术坑和解决方案

2019-08-02

Scrum介绍.pptx

敏捷开发和传统瀑布开发的对比 完整的Scrum介绍 敏捷开发的框架,流程和实施要点

2019-07-28

JVM内存管理_GC模型_编写GC友好的代码

JVM内存管理的介绍,编写GC友好的代码。 本材料主要关心 Sun Hotspot JVM 6的内存管理 Sun Hotspot JVM 6的GC模型 主要针对JVM6的GC模型,但也会简单介绍Java 7的G1 编写GC友好代码的一些技巧

2019-03-12

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除