- 博客(10)
- 收藏
- 关注
RSS订阅原创 问题记录: kafka producer.send(record) topic可以创建, 确无法从kafka-console-consumer中查看到此topic上的内容
Producer.send (record) 方法, topic可创建, 但不能发送消息到这个topic通过kafka-console-consumer.sh无法查看到
2017-08-16 10:12:33
3857
1
原创 TODO
Dump文件是进程的内存镜像。可以把程序的执行状态通过调试器保存到dump文件中。oracle dump文件: ibm optim: 归档工具 IBM® InfoSphere® Optim™ Archive (previously Optim Data Growth) is a scalable solution that can help organizations manage and su
2017-05-05 13:41:04
269
原创 Kettle7 ( Pentaho Data Integration )源码分析 每个step都有一个线程负责运行
Kettle 7 要求Java环境是Java 8 Kettle中的Transformation中包含多个step组件, 当运行transformation时, 这些组件并不是串行初始化的(数据!是在这些step间流式传递的). Step的运行是为了处理数据. 所以数据的流式传递和step的非串行启动运行是不冲突的.类Trans.java中的方法prepareExecution代码可论证上面的观点.
2017-03-16 15:31:03
2666
2
原创 kafka分布式消息中间件
Apache Kafka是一个分布式流式平台. 1. 可以发布/订阅 (publish/subscribe) records流. 2. 可以以fault-tolerance方式存储records流. 3. 可以实时处理records流. (streams of records)实用场景: 1. 在不同系统或应用间搭建实时流数据管道. 2. 搭建实时的流式应用来传输或对数据流进行响应.kaf
2017-03-14 13:26:47
419
原创 排序/查找算法Java
插入排序:适用于部分数据已经是有序的情况.有点:1. 实现简单2. 数据量较小时效率高void Insertion(intA[], int n){ int i,j,v; for(i=2; i<=n-1; i++){ v = A[i]; j = i; while(A[] > v && j>= 1){ A[
2017-03-02 12:00:22
176
原创 Hadoop作业提交源码分析
public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); jo
2017-02-28 00:30:10
542
原创 Hadoop Yarn工作原理
YARN的基础功能有: 资源的管理, 作业的调度、监控等. ResourceManager和NodeManager形成了Hadoop的数据计算框架.ResourceManager: 负责系统资源在应用间的分配. ResourceManager有两个主要的组件: Scheduler和ApplicationManager. Scheduler只纯碎地负责给运行的应用分配资源, 不会执行失败任务的重启.
2017-02-27 21:08:59
847
原创 Redis主从同步 和 持久化 Pipeline 原理
redis主从复制: 1. 同一个master可以有多个slaves 2. slave可以接受其它slaves的连接和同步请求, 这样会有效地分载master的同步压力. 3. master以非阻塞方式为其slave提供同步服务. 所以在master - slave 同步期间, 客户端仍然可以提交查询,修改的请求. 4. slave server也是以非阻塞方式完成数据同步的. 在同步期间,
2017-02-27 13:37:36
674
原创 Redis3集群 结构
Redis集群: 1. redis主从结构, 多个master节点共享集群的hash slot(哈希槽 16383个,分片). 2. 主从数据的异步备份. (不能保证数据的强一致性) 3. 需要两个TCP port: 一个是客户端的连接端口(6379), 另一个端口用于节点间的数据交换和信息通信(一般是在客户端端口上再加上10000: 例如16379) 4. 集群是高可用的, 高效的, 可线性扩
2017-02-25 18:17:40
415
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人