- 博客(13)
- 收藏
- 关注
RSS订阅原创 STORM消息的可靠性
Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种 保障机制，以及作为用户如何使用好 Storm 的可靠性机制。 消息的“完整性处理”是什么意思 一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如，有这样一个 word-count 拓扑： TopologyBuilder...
2016-01-29 23:12:27
179
STORM 拓扑构建
一、Storm大数据位置 解决方案 开发商 类型 描述 Storm Twitter 流式处理 Twitter 的新流式大数据分析解决方案 S4 Yahoo! 流式处理 来自 Yahoo! 的分布式流计算平台 Hadoop Apache ...
2016-01-28 14:59:32
220
原创 Greenplum数据库整体架构
Greenplum数据库基本由PostgreSQL核心增强数据库实例组合并衔接成的数据库管理系统，即Greenplum 数据在PostgreSQL基础上扩展开发出来的
2016-01-27 08:41:48
3515
Greenplum数据库整体架构
Greenplum数据库基本由PostgreSQL核心增强数据库实例组合并衔接成的数据库管理系统，即Greenplum 数据在PostgreSQL基础上扩展开发出来的。 每个Greenplum数据库由1个master实例和2个或2个以上segment实例组成，客户端使用PostgreSQL规范 与Master交互。接下来的插图，展示Greenplum数据...
2016-01-26 13:08:31
305
1ORACLE 组合索引优化
一、sql_trace（SQL跟踪） 查看文件位置：show parameter user_dump_dest 设置：alter session set sql_trace=true; 查询结果：tkprof E:\ORACLE\PRODUCT\10.2.0\ADMIN\JJONE\UDUMP\jjone_ora_3600.trc sql1.txt 二、S...
2016-01-23 14:02:50
358
Spring DAO设计实战
[quote] 提供不同数据源和方言实现智能分页，因Spring单例模式，可以利用Cglib实现动态数据源切换方案,基础东西不讲了，直接看代码。 [/quote] [quote] 持久超接口,获取操作模板，可以是JdbcTemplate、SqlSessionTemplate等 [/quote] [code="java"] package com.sunshine.basic....
2016-01-23 12:21:10
91
STORM喷头数据读取方式
STORM数据喷头常用读取数据方式： 1） 自定义对队，其它应用程序将数据写入队列，则STORM读取队列进行实时处理 2） 引用KAFKA，STORM喷头从KAFKA读取数据 ...
2016-01-20 13:31:31
117
STORM实时处理框架之安装准备
1.引言 1.1 名词解释 Zookeeper：解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 ZeroMQ：Storm0.9.0之前的版本中需要安装ZeroMQ，实现Strom Worker之间的通信；Storm0.9.0版本之后采用Netty替代ZeroMQ使Strom部署分布式环境更方便。 Netty：J...
2016-01-17 00:50:31
204
JAVA NIO 之三
[quote] [size=small]本节采用JDK1.5之后java.util.concurrent包的API服务端实现线程池读取信息，可以接采用Executors工具快速创建线程池，也可以ExecutorService子类自定义创建。 客端连接服务端发送信息后关闭连接SOCKET短连接（HTTP为短连接），若采用SOCKET长连接，需要增加"心跳检测"，本节暂未实现长连接。 ...
2016-01-17 00:35:53
93
JAVA NIO 之二
[quote] 继上节利用JAVA NIO实现简单数据传,本节实现自定义对象传输，为了实现接收方构建完整对象，自定义对象实现Serializable接口，以便完成对象序列化与反序化。 下一节我们将采用线程池来管理读写，期待... [/quote] [code="java"] import java.io.Serializable; /** * 传输对象,利用ObjectOu...
2016-01-14 00:35:21
69
JAVA NIO 之一
[quote="传统IO"] 网络传输方式问题：传统的RPC框架或者基于RMI等方式的远程服务（过程）调用采用了同步阻塞IO，当客户端的并发压力或者网络时延增大之后，同步阻塞IO会由于频繁的wait导致IO线程经常性的阻塞，由于线程无法高效的工作，IO处理能力自然下降。下面，我们通过BIO通信模型图看下BIO通信的弊端： [img]http://dl2.iteye.com/upload/a...
2016-01-12 14:14:41
77
JAVA压缩图片并打成ZIP
[quote] JAVA 获取网络图片或本地图片压缩后打成ZIP，但是获取网络流存在问题：每次获取图片流的大小不一样（图片不完整），以致无法构建图片进行压缩？ [/quote] [code="java"] /* 注释以下代码：即可获取完整图片流网络不稳定情况且网络流是顺序读取，所以获得前部份流，不需要关闭连接，只需要将用完的流关闭即可 */ finally{ ...
2016-01-06 13:48:33
179
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人