define_us的专栏

JAVA深入,python浅出

Kafka增加Replica的办法

挺麻烦的,还是建议在建立topic时提前规划好 手动写assign json { "partitions": [ { "topic": "TEST", "part...

2018-10-30 11:29:55

阅读数 165

评论数 0

分布式一致性的一点个人理解

这里纯粹是写一点个人感想,完全不保证正确性。 分布式事务作为一个巨大的概念,内涵可以非常广。 数据库的分布式事务 缓存一致性 消息系统的exactly once语义。 zookeeper的最终一致性 … 简单而言,你想让A组件做一件事,并让B组件做另一件事, 并试图保证最终一致性...

2018-10-29 17:26:26

阅读数 38

评论数 0

redis用作队列例子(JEDIS)

主要注意点,接收方和发送方必须使用不同的jedis对象。 import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPubSub; /** * @author : gaodaliang * @discription ...

2018-10-29 15:52:21

阅读数 16

评论数 0

JStorm和DRPC

DRPC 客户端将要执行的函数名以及相应的参数发送给DRPC server 。实现了这个函数的topology使用 DRPCSpout来接收从DRPC server传来的函数的远程调用流,从而来执行该函数。每一次函数的远程调用都被DRPC server附上了一个唯一的id。接下来topology...

2018-10-29 13:09:29

阅读数 60

评论数 0

Strom和Trident

Trident Trident是Storm 0.8.0版本引入的新特性。在者之前,storm有Transactional Topologies( 0.7.0 )的概念,trident之后,这个概念就被deprecated的了。 首先,将大吞吐量数据转化为一个个batch。 DRPC 客户端将要...

2018-10-26 13:33:21

阅读数 67

评论数 0

JStorm性能

性能度量参见 http://www.jstorm.io/Maintenance_cn/JStormMetrics.html JStorm将信息展现为如下 Emitted 当前1分钟发送的消息数,包括业务消息和acker消息。理论上是SendTps60(N+1)。N为下流的bolt种类数目。...

2018-10-26 10:44:23

阅读数 189

评论数 1

Apache Atlas

数据血缘 https://www.sohu.com/a/215119883_692358 其实,在我理解中,就是一个数据的全生命周期的管理,从采集到处理,拆分,过滤,整合,存储,到废弃。数据和数据之间可以相互转化,这种转化关系就是数据之间的血缘。 精细的数据血缘应该是字段级别的,如果做不到,做成表...

2018-10-26 09:39:24

阅读数 495

评论数 0

JSTORM问题排查——Cann't download code for storm id

现象 同事windows电脑上的storm工程没办法正常运行 lowing topologys is going to re-download the jars, [test-1-1540444367] - Downloading code for storm id test-1-15404443...

2018-10-25 15:49:35

阅读数 169

评论数 0

安全编程的基本概念

密码加盐 我们都知道,传输用户密码的明文到后台是非常危险的。更有甚者还把这些密码存储在数据库里。另一部分开发者采用md5进行不可逆的转化,然后传输和存储密码的md5值。看似很保险,但是实际上只要又一个常见密码和md5值的索引表就可以轻而易举的进行破解。2011年,CSDN 600W用户名密码泄漏,...

2018-10-24 17:26:14

阅读数 23

评论数 0

缓存一致性

缓存穿透 一般的缓存系统,都是按照key去缓存查询,如果不存在对应的value,就应该去后端系统查找(比如DB)。如果key对应的value是一定不存在的,并且对该key并发请求量很大,就会对后端系统造成很大的压力。这就叫做缓存穿透。 缓存并发 缓存失效问题 引起这个问题的主要原因还是高并发的时候...

2018-10-24 09:48:31

阅读数 161

评论数 0

从零开始的支付系统——为了钱而编程

一个典型的支付流程如下

2018-10-24 09:48:05

阅读数 152

评论数 0

RocketMQ的基本介绍

概述 阿里开源(emmmmmmmm)。号称是站在kafka巨人的肩膀上更适合互联网公司的架构。 基本架构如下 对比kafka,架构中增加了slave broker。 逻辑架构如下, 比kafka多了Producer Group的设定。这是支持事务的必要。 3.2.6版本及以上版本,删除了回查机...

2018-10-23 17:03:58

阅读数 39

评论数 0

linux和磁盘(1):基本概念

磁盘 分区 和卷 卷和分区差距很大, 一个分区是一个物理磁盘连续空间。一个卷却可以跨越多达32个物理磁盘,这在服务器上是非常实用的功能。 在我们自己的PC上,一般把磁盘分为主分区、扩展分区、逻辑分区(实际上也就是2个分区,主分区和扩展分区)。一般一个物理磁盘的最大分区数目仅仅为4,这个是因为磁盘的...

2018-10-23 15:53:53

阅读数 55

评论数 0

ElasticSearch CircuitBreakingException相关问题排查

现象 logstash向ES写入数据,出现错误 [2018-10-22T14:23:07,406][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 503 ({&qu...

2018-10-22 15:27:28

阅读数 351

评论数 0

Solr的OOM问题排查

现象 SOLR启动十几分钟后触发OOM脚本退出。 日志显示重启后SOLR在进行replay以前的tlog操作。 排查 solr的启动脚本如下 /usr/java/jdk1.8.0_102/bin/java -server -Xms1024m -Xmx4096m -XX:NewRatio=3 -XX...

2018-10-22 14:25:46

阅读数 234

评论数 0

数据库集群和事务(分布式)

分布式事务 XA协议 XA协议由Tuxedo首先提出的,并交给X/Open组织,作为资源管理器(数据库)与事务管理器的接口标准。目前,Oracle、Informix、DB2和Sybase等各大数据库厂家都提供对XA的支持。XA协议采用两阶段提交方式来管理分布式事务。XA接口提供资源管理器(资源)与...

2018-10-19 16:45:47

阅读数 36

评论数 0

ElasticSearch的使用

创建和删除索引 使用DevTools PUT test001 DELETE test001 使用curl curl -X PUT "http://10.5.145.101:9200/productindex" curl -X DELET...

2018-10-19 16:30:14

阅读数 18

评论数 0

YARN

YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。 MapReduceV1时代 那时候,我们还没有YARN。Job Tracker...

2018-10-17 15:42:47

阅读数 37

评论数 0

Spark-Streaming基础

SparkStreaming原理 客户端提交作业后启动Driver,Driver是spark作业的Master。 每个作业包含多个Executor,每个Executor以线程的方式运行task,Spark Streaming至少包含一个receiver task。 Receiver接收数据后生成...

2018-10-17 14:34:05

阅读数 38

评论数 0

数据库中事务基本原理和概念(单机)

数据库中的锁 按照作用分: 共享锁 select语句会加入共享锁,数据库机制规定共享锁和排他锁不能同时添加到一个资源上。所以,一句select对资源加了共享锁,另一句select也可以对同一资源加共享锁,但是,一句update则必须等待,因为,他无法把排他锁加到一个已经上了共享锁的资源上。 ...

2018-10-16 15:26:06

阅读数 33

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭