自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 资源 (29)
  • 收藏
  • 关注

转载 Spark踩坑记——Spark Streaming+Kafka

前言在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafka的方式进行归纳总结,之后简单阐述Spark streaming+kafka在舆情项目中的应用,最后将自己

2017-07-26 10:22:01 2689 1

转载 Kafka无消息丢失配置

Kafka到底会不会丢数据(data loss)? 通常不会,但有些情况下的确有可能会发生。下面的参数配置及Best practice列表可以较好地保证数据的持久性(当然是trade-off,牺牲了吞吐量)。笔者会在该列表之后对列表中的每一项进行讨论,有兴趣的同学可以看下后面的分析。block.on.buffer.full = trueacks = allretries = MAX_VAL

2017-07-25 14:08:35 3154

转载 kafka consumer防止数据丢失

kafka最初是被LinkedIn设计用来处理log的分布式消息系统,因此它的着眼点不在数据的安全性(log偶尔丢几条无所谓),换句话说kafka并不能完全保证数据不丢失。 尽管kafka官网声称能够保证at-least-once,但如果consumer进程数小于partition_num,这个结论不一定成立。 考虑这样一个case,partiton_num=2,启

2017-07-25 13:25:24 3596

转载 Kafka Mirror Maker Best Practices

Short Description:Best Practices in running Kafka Mirror MakerArticleKafka's mirroring feature makes it possible to maintain a replica of an existing Kafka cluster. This tool uses Kafka cons

2017-07-25 13:07:27 1508

java8 32位 64位 jdk8 最新下载地址

java8 32位 64位 jdk8 最新下载地址

2018-01-06

阿里巴巴Java开发手册V1.2.0

阿里巴巴Java开发手册V1.2.0

2017-05-24

protobuf-2.5.0.tar.gz

protobuf-2.5.0.tar.gz

2015-07-06

rpmbuild-demo工程

一个rpm build打包的示例工程,下载完成后可以解压成/home/wang/rpmbuild目录,然后到SPEC目录中执行rpmbuild -ba dteworker-client.spec 即可完成打包

2015-01-21

hive函数大全 函数参考

hive函数大全 ,非常全的文档!

2013-12-17

BIEE11g 入门培训

BIEE11g 入门培训,非常适合初学者入门~

2013-11-08

BIEE11g 详细安装文档

BIEE11g非常详细的安装文档,亲自安装成功!

2013-11-08

数据结构(C语言版) 严蔚敏 吴伟民 带书签

数据结构(C语言版) 严蔚敏 吴伟民 带书签,清华大学出版的,经典教材

2013-04-10

Weka源代码详细分析系列

Weka源代码详细分析系列,和http://download.csdn.net/download/mythee/2238812里面是一模一样的,介绍的非常详细

2012-05-08

junit 3.8 jar包

junit 3.8 jar包

2012-04-05

sqlserver jar包 jdbc驱动

sqlserver jar包 jdbc驱动

2012-04-05

oracle jar包 jdbc驱动程序

oracle jar包 jdbc驱动程序!java开发常用jar包

2012-04-05

mysql jdbc驱动程序 jar包

mysql-connector-java-5.0.8-bin.jar mysql驱动程序 jar包

2012-04-05

ant apache 1.7 jar

ant apache 1.7 jar!java web开发常用jar包

2012-04-05

Stuct2权威指指南完整版上

讲的是Struct2,非常适合初学者

2012-03-05

java spring全解 详细教程 原理

讲解spring的资料,非常适合初学者!!!

2012-03-05

java rmi详解

java rmi 远程方法调用的例子,讲解的很详细!

2012-03-05

poi excel 实战例子详解

poi操作excel的例子,讲的很详细,很适合入门者看!!!

2011-10-30

poi xssf hssf excel 教程

java操作EXCEL的工作,包含详细的例子,很适合入门学习!

2011-10-30

数据挖掘概念技术资料

数据挖掘的基本概念和技术,很适合入门的资料!!!!!!!!!

2011-10-24

设计模式可复用面向对象软件的基础

设计模式的开山之作,一句话:没看过此书,不要说懂设计模式!

2011-10-24

JAVA与模式 带标签 清晰版 阎宏

JAVA与模式,带标签,很清楚!讲解讲的很详细,例子也很好!

2011-10-24

java 反射机制例子

讲解了JAVA中反射机制,包含例子,代码!对初学者很有用

2011-10-04

java 泛型例子实例

JAVA介绍泛型,讲解的比较详细,带例子

2011-10-04

java io输入输出流介绍

讲解了JAVA中io操作,包含例子,代码!对初学者很有用

2011-10-04

LDAP 资料代码实例

关于LDAP的资料,经常用的,包含新建,查询,删除,修改

2011-10-04

LDAP 资料代码实例

关于LDAP的资料,经常用的,包含新建,查询,删除,修改

2011-10-04

LDAP 资料代码实例

关于LDAP的资料,经常用的,包含新建,查询,删除,修改

2011-10-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除