- 博客(6)
- 资源 (1)
- 收藏
- 关注
转载 storm项目整合步骤
项目整合的时候分开整合log4j+flume1:在爬虫项目中写一个测试类,写一个测试方法,模拟产生日志数据@Testpublic void testLog() throws Exception {logger.info("当前时间戳:{}",System.currentTimeMillis());}2:修改log4j的配置文件log4j.rootLogger=i
2017-04-04 21:46:02
372
转载 Kafka深度解析
背景介绍Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输同时支持
2017-03-20 10:50:25
449
转载 关于分布式系统的思考(一)
本文谈及一些分布式系统的理论和思想,包括 CAP、BASE、NWR等。并简单分析一些主流数据库分布式方案的利弊,以便我们在开发时更深入全面地进行思考、选择和设计。
2017-03-19 17:02:39
646
转载 Hbase列族数量限制思考
Hbase官方文档中写明,目前列族数量最优不超过3个。先看Hbase的存储结构每个 RegionServer 包含多个 Region,每个 Region 包含多个Store,每个 Store 包含一个 MemStore 和多个 StoreFile。在 Hbase 的表中,每个列族对应 Region 中的一个Store,Region的大小达到阈值时会分裂,因此如果表中有多个列族,则可能出
2017-03-18 14:36:27
8083
转载 中断/异常
中断/异常,是操作系统的驱动力,就好比汽车的发动机、飞机的引擎是什么?中断是CPU对系统发生的某个事件作出的一种反应当中断发生时,CPU暂停正在执行的程序,保留现场后自动转去执行相应事件的处理程序,处理完成后返回断点,继续执行被打断的程序为什么?中断的引入,为了支持CPU和设备之间的并行操作当CPU启动设备进行输入/输
2017-03-18 08:14:30
712
转载 linux网络tcp报文中控制字段都有什么,简述大概作用
【源端口】- 16bit来源处的端口号; 【目的端口】- 16bit 目的处的端口号; 【序号】- 32bit 每一个TCP报文段都会有一个序号,序号字段的值其实是本报文段所发送的数据的第一个字节的序号。这是因为TCP是面向连接的可靠服务,其每一个字节都会对应一个序号,通过序号来确保服务的可靠性和有序性。 【确认号】- 32bit 确认号,是期望收到对方的下一个报文
2017-03-17 19:28:06
3131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人