问题记录: kafka producer.send(record) topic可以创建, 确无法从kafka-console-consumer中查看到此topic上的内容 Producer.send (record) 方法, topic可创建, 但不能发送消息到这个topic通过kafka-console-consumer.sh无法查看到
TODO Dump文件是进程的内存镜像。可以把程序的执行状态通过调试器保存到dump文件中。oracle dump文件: ibm optim: 归档工具 IBM® InfoSphere® Optim™ Archive (previously Optim Data Growth) is a scalable solution that can help organizations manage and su
Kettle7 ( Pentaho Data Integration )源码分析 每个step都有一个线程负责运行 Kettle 7 要求Java环境是Java 8 Kettle中的Transformation中包含多个step组件, 当运行transformation时, 这些组件并不是串行初始化的(数据!是在这些step间流式传递的). Step的运行是为了处理数据. 所以数据的流式传递和step的非串行启动运行是不冲突的.类Trans.java中的方法prepareExecution代码可论证上面的观点.
kafka分布式消息中间件 Apache Kafka是一个分布式流式平台. 1. 可以发布/订阅 (publish/subscribe) records流. 2. 可以以fault-tolerance方式存储records流. 3. 可以实时处理records流. (streams of records)实用场景: 1. 在不同系统或应用间搭建实时流数据管道. 2. 搭建实时的流式应用来传输或对数据流进行响应.kaf
排序/查找算法Java 插入排序:适用于部分数据已经是有序的情况.有点:1. 实现简单2. 数据量较小时效率高void Insertion(intA[], int n){ int i,j,v; for(i=2; i<=n-1; i++){ v = A[i]; j = i; while(A[] > v && j>= 1){ A[
Hadoop作业提交源码分析 public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); jo
Hadoop Yarn工作原理 YARN的基础功能有: 资源的管理, 作业的调度、监控等. ResourceManager和NodeManager形成了Hadoop的数据计算框架.ResourceManager: 负责系统资源在应用间的分配. ResourceManager有两个主要的组件: Scheduler和ApplicationManager. Scheduler只纯碎地负责给运行的应用分配资源, 不会执行失败任务的重启.
Redis主从同步 和 持久化 Pipeline 原理 redis主从复制: 1. 同一个master可以有多个slaves 2. slave可以接受其它slaves的连接和同步请求, 这样会有效地分载master的同步压力. 3. master以非阻塞方式为其slave提供同步服务. 所以在master - slave 同步期间, 客户端仍然可以提交查询,修改的请求. 4. slave server也是以非阻塞方式完成数据同步的. 在同步期间,
Redis3集群 结构 Redis集群: 1. redis主从结构, 多个master节点共享集群的hash slot(哈希槽 16383个,分片). 2. 主从数据的异步备份. (不能保证数据的强一致性) 3. 需要两个TCP port: 一个是客户端的连接端口(6379), 另一个端口用于节点间的数据交换和信息通信(一般是在客户端端口上再加上10000: 例如16379) 4. 集群是高可用的, 高效的, 可线性扩
关注
