- 博客(8)
- 资源 (10)
- 收藏
- 关注
原创 一般实现分布式锁都有哪些方式?使用 redis 如何设计分 布式锁?使用 zk 来设计分布式锁可以吗?这两种分布式锁的 实现方式哪种效率比较高?
分布式系统开发中,分布式锁的使用场景还是很常见的基于redis实现分布式锁最简单的方式,直接redissetnx 命令创建一个 key,这样就算加锁执行命令:SET key value NX PX 10000NX:表示只有 key 不存在的时候才会设置成功。(redis 中存在这个 key,那么设置失 败,返回 nil) PX 10000:意思是 10s 后锁自动释放。并发的时候发现创建锁已经存在,就不能加锁释放锁就是删除 key ,但是一般可以用 lu...
2020-11-25 11:37:11 199
原创 Spring Session + Redis实现分布式Session共享
Spring Session解决的基本思路很简单,即将用户的session信息全部存放到一个redis数据库中,所有的session都从这个数据库拿。由于redis是一个内存数据库,数据信息读写是非常快速的,共用一个redis数据库,即实现了session的共享问题。
2017-03-14 21:35:39 298
转载 Spring Batch批处理框架
Spring Batch是一个轻量级的,完全面向Spring的批处理框架,可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础,使开发者更容易的访问和利用企业级服务。Spring Batch可以提供大量的,可重复的数据处理功能,包括日志记录/跟踪,事务管理,作业处理统计工作重新启动、跳过,和资源管理等重要功能。
2017-03-14 21:16:59 2042
原创 处理百万级以上的数据查询提高效率的办法
1.应尽量避免在 where 子句中使用!=或 2.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 3.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is null 可以在nu
2016-11-25 13:29:42 567
原创 分布式系统的事务处理
当我们在生产线上用一台服务器来提供数据服务的时候,我会遇到如下的两个问题:1)一台服务器的性能不足以提供足够的能力服务于所有的网络请求。2)我们总是害怕我们的这台服务器停机,造成服务不可用或是数据丢失。于是我们不得不对我们的服务器进行扩展,加入更多的机器来分担性能上的问题,以及来解决单点故障问题。 通常,我们会通过两种手段来扩展我们的数据服务:1)数据分区:就是把数据分块放在不同的服务器上(如:u
2016-08-26 14:16:50 623
原创 Elastic-Job - 分布式定时任务框架
Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架。去掉了和dd-job中的监控和ddframe接入规范部分。该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发。 ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX。 项目开源地址:https://github.com/dangdangdotcom/elastic-job
2016-08-19 11:15:56 1322
原创 使用Java写kafka生产者消费者
快速启动步骤1:下载代码下载最近的一个稳定版本。> tar xzf kafka-.tgz> cd kafka-> ./sbt update> ./sbt package步骤2:启动服务器Kafka brokers and consumers use this for co-ordination. bin/zookeeper-server-start.s
2016-07-10 09:11:06 7417
原创 Elastic-JOB
开发指南代码开发作业类型目前提供3种作业类型,分别是Simple, DataFlow和Script。DataFlow类型用于处理数据流,它又提供2种作业类型,分别是ThroughputDataFlow和SequenceDataFlow。需要继承相应的抽象类。Script类型用于处理脚本,可直接使用,无需编码。方法参数shardingContext包含
2016-07-08 21:43:42 9242
dubbo-admin-2.5.4.war dubbo的控制台管理工具
2015-10-22
hadoop 大数据
2015-04-03
Shell脚本学习指南
2015-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人