红磊的专栏

好记忆不如烂笔头

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

使用easy-retry轻松进行任务重试

Easy-retry是一个Java任务重试框架。 项目主页:https://github.com/bournecui/easy-retry 主要特点 灵活,可以设置不同的重试策略,比如 发生异常时重试,你可以设置哪些异常被重试、哪些异常被忽略。 返回值不符合预期时重置。      ...

2018-07-27 17:07:16

阅读数 400

评论数 0

Spring编程式事务管理

在基于数据库的应用中,事务是非常重要的。为了方便使用,Spring提供了基于XML和基于注解的方式配置事务,思路都是使用AOP,在特定的切入点统一开启事务,以方法为粒度进行事务控制。并且定义了事务的传播属性,规定了配置了事务的方法互相嵌套调用时的行为准则: PROPAGATION_REQUI...

2016-03-10 20:40:30

阅读数 8012

评论数 1

漫游Kafka之过期数据清理

Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。

2015-11-06 15:40:56

阅读数 29105

评论数 0

快速搭建sonar代码质量管理平台

安装 下载,直接解压添加mysql驱动至\extensions\jdbc-driver\mysql\创建mysql数据库和用户:10.22.10.139 sonar sonar/sonar修改sonar.properties,添加以下配置: #----- MySQL 5.x # ...

2014-07-29 16:30:24

阅读数 4024

评论数 0

Maven搭建hadoop环境报Missing artifact jdk.tools:jdk.tools:jar:1.6

Mven搭建hadoop环境,出现错误: org.apache.hadoop hadoop-mapreduce-client-core 2.4.0

2014-07-24 16:53:45

阅读数 17202

评论数 2

漫游Kafka实现篇之分布式

当路径中的元素包括在方括号里比如[xyz],则表示xyz表示的值是不固定的,每个可能的值都有一个Zookeeper节点。比如/topics/[topic]表示每个topic名称对应/topics的一个子目录。也可以用类似[0...5]表示一个数值范围来表示含有子目录0,1,2,3,4的目录。箭头-...

2014-07-21 11:32:36

阅读数 3339

评论数 1

漫游Kafka实现篇之消息和日志

读操作需要两个参数:一个64位的offset和一个S字节的最大读取量。S通常比单个消息的大小要大,但在一些个别消息比较大的情况下,S会小于单个消息的大小。这种情况下读操作会不断重试,每次重试都会讲读取量加倍,直到读取到一个完整的消息。可以配置单个消息的最大值,这样服务器就会拒绝大小超过这个值的消息...

2014-07-17 15:53:20

阅读数 19648

评论数 2

漫游Kafka实战篇之客户端编程实例

Consumer API有两个级别。低级别的和一个指定的broker保持连接,并在接收完消息后关闭连接,这个级别是无状态的,每次读取消息都带着offset。 高级别的API隐藏了和brokers连接的细节,在不必关心服务端架构的情况下和服务端通信。还可以自己维护消费状态,并可以通过一些条件指定订...

2014-07-11 18:32:57

阅读数 45073

评论数 20

漫游Kafka设计篇之主从同步

Kafka允许tipci的分区拥有若干副本,这个数量是可以配置的,你可以为每个topci配置一个副本数量。Kafka会自动的在个副本上备份数据,所以当一个server down掉时数据依然是可用的。 Kafka的副本功能不是必须的,你可以配置只有一个副本,这样其实就相当于只有一份数据。 创建副本的...

2014-07-09 18:41:37

阅读数 9342

评论数 0

漫游Kafka设计篇之Producer和Consumer

负载均衡producer直接将数据发送到broker的leader(主节点),不需要在多个节点进行分发。为了帮助producer做到这点,所有的Kafka节点都可以及时的告知:哪些节点是活动的,目标topic目标分区的leader在哪。这样producer就可以直接将消息发送到目的地了。客户端控制...

2014-07-09 18:40:25

阅读数 21624

评论数 2

漫游Kafka设计篇之性能优化

Kakfa在提高效率方面做了很大努力。Kakfa的一个主要使用场景是处理网站活动日志,吞吐量是非常大的,每个页面都会产生好多次写操作。读方面,假设每个消息只被消费一次,读的量的也是很大的,Kafka也尽量使读的操作更轻量化。 我们之前讨论了磁盘的性能问题,线性读写的情况下影响磁盘性能问题大约有两个...

2014-07-09 18:39:56

阅读数 11613

评论数 0

漫游Kafka设计篇之消息传输的事务定义

4.6 消息传输的事务定义 之前讨论了consumer和producer是怎么工作的,现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别: 最多一次: 消息不会被重复发送,最多被传输一次,但也有可能一次不传输。 最少一次: 消息不会被漏发送,最少被传输一次,但也有可能被重复传输. 精...

2014-07-09 18:39:52

阅读数 7504

评论数 2

漫游Kafka设计篇之数据持久化

4.2 Persistence(持久化) 不要畏惧文件系统! Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢,这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。 在6块7200转...

2014-07-09 18:39:28

阅读数 12192

评论数 1

漫游kafka实战篇之搭建Kafka开发环境

上篇文章中我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topci,发送和接收消息。下面我们来搭建kafka的开发环境。 大家开发环境需要引入kafka的jar包,一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中,这种比较简单了。不过我们使用另一...

2014-07-09 18:38:48

阅读数 46115

评论数 12

漫游Kafka实战篇之搭建Kafka运行环境

接下来一步一步搭建Kafka运行环境。   Step 1: 下载Kafka 点击下载最新的版本并解压. > tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9.2-0.8.1.1 Step 2: 启动服务 Kafka用到了Zookeeper,...

2014-07-09 18:38:02

阅读数 19798

评论数 5

漫游Kafka入门篇之简单介绍

Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订top...

2014-07-09 18:37:20

阅读数 9886

评论数 6

Linux 发送邮件,抄送+附件,多收件人

随人Linux自带了功能强大的sendmail服务器,但是这样发送的邮件往往被视为垃圾邮件。以下代码可以登录你的邮箱发送邮件,并且可以添加抄送人,添加附件。其中:邮件的正文在/app/opt/oracle/mail.txt 中 ,r'/app/opt/oracle/report.zip'是的附件。...

2011-05-26 14:14:00

阅读数 8919

评论数 0

Rman Oracle 数据库自动备份

<br />1 auto_backup.sh  这是主程序,程序中需要调用下边的连个rman脚本。这三个脚本都要放在对应的文件夹下。<br /># Backup Oracle database ############# # Variables # #######...

2011-02-11 15:45:00

阅读数 562

评论数 0

利用exp备份ORACLE,并保存七天内的备份

del d:/prd_db_bkup/prd_db_bkup7.dmp ren d:/prd_db_bkup/prd_db_bkup6.dmp prd_db_bkup7.dmp ren d:/prd_db_bkup/prd_db_bkup5.dmp prd_db_bkup6.dmp...

2010-11-24 10:46:00

阅读数 1419

评论数 1

RMAN nocatalog完全恢复

RMAN> startup mount;connected to target database (not started)<br />Oracle instance started<br />database mountedTotal System Global A...

2010-11-02 15:45:00

阅读数 697

评论数 1

提示
确定要删除当前文章?
取消 删除