- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 kafka单条消息过大导致生产者程序发送到broker失败
今天碰到一个问题，kafka生产者罢工停止生产了，而且生产者的内存急剧升高，导致程序几次重启。查看日志，才发现生产者程序爆出异常kafka.common.MessageSizeTooLargeException。 查看kafka配置，默认单条消息最大为1M，当单条消息长度超过1M时，就会出现发送到broker失败，从而导致消息在producer的队列中一直累积，直到撑爆生产者的
2016-06-14 18:11:03
29436
1
原创 Hbase查询结果分页（PageFilter）
public static JSONObject divicePage(String tableName, String startRow, String endRow, String lastRowKey, int num) throws IOException { Filter filter = new PageFilter(num);//每页展示条数 byte[] lastR
2016-06-03 14:31:19
10063
1
原创 Hbase Java客户端示例
1.Hbase获取连接：public class HbaseConnection { private static Configuration config; private static HConnection hconn; private static final Logger LOGGER = LoggerFactory .getLogger(HbaseConnectio
2015-11-30 17:02:40
402
原创 Redis Java客户端实例
1.Java客户端示例：public class JedisManager { /** * jedis连接池，维持jedis连接 */ private static JedisManager jedisManager = new JedisManager(); private static JedisSentinelPool jedisSentinelPool = null
2015-11-27 15:57:08
491
转载 Hadoop常见错误及解决办法汇总
转载自http://www.sharpcloud.cn/thread-4927-1-1.html错误一：java.io.IOException: Incompatible clusterIDs 时常出现在namenode重新格式化之后" s9 S1 b+ N. |7 w, Y7 E; Z2014-04-29 14:32:53,877 FATAL org.apache.had
2015-11-27 15:44:03
2671
转载 log4j.properties配置详解
转载自http://www.cnblogs.com/edwardlauxh/archive/2010/07/24/1918550.htmlLog4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。1. 配置文件Log4J配置
2015-11-27 15:38:11
456
转载 Kafka JAVA客户端代码示例
转载自http://my.oschina.net/cloudcoder/blog/299215?fromerr=1Luc9l6g介绍 http://kafka.apache.org kafka是一种高吞吐量的分布式发布订阅消息系统 kafka是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，
2015-11-27 15:35:03
1464
转载 Kafka 配置说明
转载自http://liyonghui160com.iteye.com/blog/2163899 server.properties配置： server.properties中所有配置参数说明(解释)如下列表： 参数说明(解释)broker.id =0每一个broker
2015-11-27 15:30:35
9507
转载 性能分析工具Eclipse Memory Analyzer tool(MAT)
转载自http://blog.csdn.net/rachel_luo/article/details/8992461MAT安装话分两头说，有了heap dump还得安装MAT。MAT支持两种安装方式，一种是“独立版本”，用户不必安装 EclipseIDE 环境，MAT 作为一个独立的 EclipseRCP 应用运行；另一种是“插件版本”，也就是说MAT 可以作为 Eclipse
2015-11-27 15:24:23
414
转载 JVM性能调优监控工具jps、jstack、jmap、jhat、jstat使用详解
转载自http://my.oschina.net/feichexia/blog/196575 现实企业级Java开发中，有时候我们会碰到下面这些问题：OutOfMemoryError，内存不足内存泄露线程死锁锁争用（Lock Contention）Java进程消耗CPU过高...... 这些
2015-11-27 15:17:31
374
转载 HBase Rowkey的散列与预分区设计
转载自http://www.cnblogs.com/bdifn/p/3801737.html HBase中，表会被划分为1...n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标reg
2015-11-27 14:59:02
370
转载 Hbase常用Shell命令
转载自 http://www.cnblogs.com/nexiyi/p/hbase_shell.html进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户
2015-11-27 14:51:09
515
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人