define_us的专栏

JAVA深入，python浅出

全部文章> 2018年10月
排序：
默认
按更新时间
按访问量
RSS订阅

原 Kafka增加Replica的办法

挺麻烦的，还是建议在建立topic时提前规划好 手动写assign json { "partitions": [ { "topic": "TEST", "part...

2018-10-30 11:29:55

阅读数 165

评论数 0

原 分布式一致性的一点个人理解

这里纯粹是写一点个人感想，完全不保证正确性。 分布式事务作为一个巨大的概念，内涵可以非常广。 数据库的分布式事务 缓存一致性 消息系统的exactly once语义。 zookeeper的最终一致性 … 简单而言，你想让A组件做一件事，并让B组件做另一件事， 并试图保证最终一致性...

2018-10-29 17:26:26

阅读数 38

评论数 0

原 redis用作队列例子（JEDIS)

主要注意点，接收方和发送方必须使用不同的jedis对象。 import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPubSub; /** * @author : gaodaliang * @discription ...

2018-10-29 15:52:21

阅读数 16

评论数 0

原 JStorm和DRPC

DRPC 客户端将要执行的函数名以及相应的参数发送给DRPC server 。实现了这个函数的topology使用 DRPCSpout来接收从DRPC server传来的函数的远程调用流，从而来执行该函数。每一次函数的远程调用都被DRPC server附上了一个唯一的id。接下来topology...

2018-10-29 13:09:29

阅读数 60

评论数 0

原 Strom和Trident

Trident Trident是Storm 0.8.0版本引入的新特性。在者之前，storm有Transactional Topologies（ 0.7.0 ）的概念，trident之后，这个概念就被deprecated的了。 首先，将大吞吐量数据转化为一个个batch。 DRPC 客户端将要...

2018-10-26 13:33:21

阅读数 67

评论数 0

原 JStorm性能

性能度量参见 http://www.jstorm.io/Maintenance_cn/JStormMetrics.html JStorm将信息展现为如下 Emitted 当前1分钟发送的消息数，包括业务消息和acker消息。理论上是SendTps60(N+1)。N为下流的bolt种类数目。...

2018-10-26 10:44:23

阅读数 189

评论数 1

原 Apache Atlas

数据血缘 https://www.sohu.com/a/215119883_692358 其实，在我理解中，就是一个数据的全生命周期的管理，从采集到处理，拆分，过滤，整合，存储，到废弃。数据和数据之间可以相互转化，这种转化关系就是数据之间的血缘。 精细的数据血缘应该是字段级别的，如果做不到，做成表...

2018-10-26 09:39:24

阅读数 495

评论数 0

原 JSTORM问题排查——Cann't download code for storm id

现象 同事windows电脑上的storm工程没办法正常运行 lowing topologys is going to re-download the jars, [test-1-1540444367] - Downloading code for storm id test-1-15404443...

2018-10-25 15:49:35

阅读数 169

评论数 0

原 安全编程的基本概念

密码加盐 我们都知道，传输用户密码的明文到后台是非常危险的。更有甚者还把这些密码存储在数据库里。另一部分开发者采用md5进行不可逆的转化，然后传输和存储密码的md5值。看似很保险，但是实际上只要又一个常见密码和md5值的索引表就可以轻而易举的进行破解。2011年，CSDN 600W用户名密码泄漏，...

2018-10-24 17:26:14

阅读数 23

评论数 0

原 缓存一致性

缓存穿透 一般的缓存系统，都是按照key去缓存查询，如果不存在对应的value，就应该去后端系统查找（比如DB）。如果key对应的value是一定不存在的，并且对该key并发请求量很大，就会对后端系统造成很大的压力。这就叫做缓存穿透。 缓存并发 缓存失效问题 引起这个问题的主要原因还是高并发的时候...

2018-10-24 09:48:31

阅读数 161

评论数 0

原 从零开始的支付系统——为了钱而编程

一个典型的支付流程如下

2018-10-24 09:48:05

阅读数 152

评论数 0

原 RocketMQ的基本介绍

概述 阿里开源（emmmmmmmm）。号称是站在kafka巨人的肩膀上更适合互联网公司的架构。 基本架构如下 对比kafka，架构中增加了slave broker。 逻辑架构如下， 比kafka多了Producer Group的设定。这是支持事务的必要。 3.2.6版本及以上版本，删除了回查机...

2018-10-23 17:03:58

阅读数 39

评论数 0

原 linux和磁盘（1）：基本概念

磁盘 分区 和卷 卷和分区差距很大， 一个分区是一个物理磁盘连续空间。一个卷却可以跨越多达32个物理磁盘，这在服务器上是非常实用的功能。 在我们自己的PC上，一般把磁盘分为主分区、扩展分区、逻辑分区（实际上也就是2个分区，主分区和扩展分区）。一般一个物理磁盘的最大分区数目仅仅为4，这个是因为磁盘的...

2018-10-23 15:53:53

阅读数 55

评论数 0

原 ElasticSearch CircuitBreakingException相关问题排查

现象 logstash向ES写入数据，出现错误 [2018-10-22T14:23:07,406][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 503 ({&qu...

2018-10-22 15:27:28

阅读数 351

评论数 0

原 Solr的OOM问题排查

现象 SOLR启动十几分钟后触发OOM脚本退出。 日志显示重启后SOLR在进行replay以前的tlog操作。 排查 solr的启动脚本如下 /usr/java/jdk1.8.0_102/bin/java -server -Xms1024m -Xmx4096m -XX:NewRatio=3 -XX...

2018-10-22 14:25:46

阅读数 234

评论数 0

原 数据库集群和事务（分布式）

分布式事务 XA协议 XA协议由Tuxedo首先提出的，并交给X/Open组织，作为资源管理器（数据库）与事务管理器的接口标准。目前，Oracle、Informix、DB2和Sybase等各大数据库厂家都提供对XA的支持。XA协议采用两阶段提交方式来管理分布式事务。XA接口提供资源管理器（资源）与...

2018-10-19 16:45:47

阅读数 36

评论数 0

原 ElasticSearch的使用

创建和删除索引 使用DevTools PUT test001 DELETE test001 使用curl curl -X PUT "http://10.5.145.101:9200/productindex" curl -X DELET...

2018-10-19 16:30:14

阅读数 18

评论数 0

原 YARN

YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。 MapReduceV1时代 那时候，我们还没有YARN。Job Tracker...

2018-10-17 15:42:47

阅读数 37

评论数 0

原 Spark-Streaming基础

SparkStreaming原理 客户端提交作业后启动Driver，Driver是spark作业的Master。 每个作业包含多个Executor，每个Executor以线程的方式运行task，Spark Streaming至少包含一个receiver task。 Receiver接收数据后生成...

2018-10-17 14:34:05

阅读数 38

评论数 0

原 数据库中事务基本原理和概念（单机）

数据库中的锁 按照作用分： 共享锁 select语句会加入共享锁，数据库机制规定共享锁和排他锁不能同时添加到一个资源上。所以，一句select对资源加了共享锁，另一句select也可以对同一资源加共享锁，但是，一句update则必须等待，因为，他无法把排他锁加到一个已经上了共享锁的资源上。 ...

2018-10-16 15:26:06

阅读数 33

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭