kafka(一) 概述

概览 - kafka解决的问题 - 主题 - 分区 - 消息 - 生产者 - broker - broker集群 - 消费者 - 消费者组群 - 生产者分区和消费者群组 - 消息可靠性 - 消息系统 - 队列和广播 - 消息保序 - 存储...

2018-12-28 17:07:45

阅读数:52

评论数:0

Kafka(二)docker版安装入门

kafka是一个可靠的消息中间件(生产者和消费者模式)。kafka可以用于构建实时的数据管道、有强大水平扩展能力、处理效率很高 参考: http://kafka.apache.org 基础概念http://kafka.apache.org/intro 安装 docker中使用ka...

2018-12-28 17:05:08

阅读数:59

评论数:0

kafka(三):和storm整合保序

保证storm和kafka上的消息有序 整体流程:kafka生产者->kafka消费者->spout->bolt: kafka的生产者按制定字段发送到指定主题上,保证一类消息的先后次序(如果想要所有的消息都有序,可以只用一个分区...

2018-12-28 17:03:55

阅读数:8

评论数:0

kafka(四):整合logstash

logstash作用 logstash的作用是日志收集器,在我这个例子里,我的input是命令行的标准输入,而output为kafka和命令行标准输出。 logstash的配置信息为: input { stdin {} } output { kafka { topic_id...

2018-12-28 17:02:49

阅读数:21

评论数:0

storm(一) 集群架构

storm关键概念 storm不用来处理静态数据,主要用来处理动态数据 一个topologies启动后是始终处于运行状态,除非手动关闭 storm 架构 Nimbus:管理节点,用于提交 Supervisor:从节点,接受来自于Nimbus节点的任务,管理Worker Worker:工作...

2018-12-28 16:58:40

阅读数:59

评论数:0

storm(二) docker集群搭建

利用docker搭建storm集群 启动nimbus节点:docker run -d --restart always --name nimbus --link zookeeper:zookeeper storm storm nimbus --link zookeeper:zookeeper...

2018-12-28 16:57:36

阅读数:11

评论数:0

storm(三) 编程关键类

Storm概念 storm的编程其实就是设计topology的过程,该过程中最主要的就是Spout、bolt还有grouping 关键类 创建topology 这个部分可以直接参考官网,使用TopologyBuilder类 TopologyBuilder builder = new Top...

2018-12-28 16:55:29

阅读数:8

评论数:0

storm(四) 并行度

概念 worker 一个实体机可以运行一个或者多个worker 一个worker只能运行一个topology上的部分或全部component 一个worker是一个独立的进程 在运行过程中可以调整worker的数量 executor 一个worker中可以运行多个executor 一...

2018-12-28 16:43:16

阅读数:9

评论数:0

storm(五) 消息分组策略

消息分发策略决定了消息在spout和bolt间,bolt和bolt间如何进行传递。决定tuple传递给哪个bolt grouping http://storm.apache.org/releases/1.2.2/Concepts.html 流分组策略有内置的八种,同时还可以进行自定义。这里...

2018-12-28 16:41:03

阅读数:7

评论数:0

storm(六) 可靠性

  集群可靠性 参考:http://storm.apache.org/releases/1.2.2/Daemon-Fault-Tolerance.html Worker可靠性 worker挂掉了,supervisor会重新启动worker。 如果在启动的过程中不断的失败,nimbus...

2018-12-28 16:31:41

阅读数:8

评论数:0

java之collection总结

Collection 来源于Java.util包,是非常实用常用的数据结构!!!!!字面意思就是容器。具体的继承实现关系如下图,先整体有个印象,再依次介绍各个部分的方法,注意事项,以及应用场景。   --------------------------------------------...

2018-12-14 07:38:02

阅读数:20

评论数:0

三种方式实现远程restful 接口调用

1,基本介绍 Restful接口的调用,前端一般使用ajax调用,后端可以使用的方法比较多,   本次介绍三种:     1.HttpURLConnection实现     2.HttpClient实现     3.Spring的RestTemplate       2,HttpURL...

2018-11-15 14:16:22

阅读数:87

评论数:0

RabbitMQ防止消息丢失

1.简介 RabbitMQ中,消息丢失可以简单的分为两种:客户端丢失和服务端丢失。针对这两种消息丢失,RabbitMQ都给出了相应的解决方案。 回到目录 2.防止客户端丢失消息 如图,生产者P向队列中生产消息,C1和C2消费队列中的消息,默认情况下,RabbitMQ会平均的分发消费给C...

2018-08-29 11:47:00

阅读数:145

评论数:0

字符串的几种常见的反转

字符串的几种常见的反转: 提到字符串的反转,最先想到的应该是StringBuiler的reverse()的方法,方便快捷。但有时我们也需要自己写一些反转的代码。 第一种  通过String类的charAt()的方法来获取字符串中的每一个字符,然后将其拼接为一个新的字符串。     ...

2018-08-29 11:43:14

阅读数:38

评论数:0

Innodb与Myisam引擎的区别与应用场景

1. 区别: (1)事务处理: MyISAM是非事务安全型的,而InnoDB是事务安全型的(支持事务处理等高级处理); (2)锁机制不同: MyISAM是表级锁,而InnoDB是行级锁; (3)select ,update ,insert ,delete 操作: MyISAM:如果执行...

2018-08-20 13:03:21

阅读数:39

评论数:0

MySQL中MyISAM与InnoDB区别及选择

InnoDB: 支持事务处理等 不加锁读取 支持外键 支持行锁 不支持FULLTEXT类型的索引 不保存表的具体行数,扫描表来计算有多少行 DELETE 表时,是一行一行的删除 InnoDB 把数据和索引存放在表空间里面 跨平台可直接拷贝使用 InnoDB中必须包含AUTO_INCREMENT类型...

2018-08-20 13:01:48

阅读数:48

评论数:0

Redis、Memcache和MongoDB的区别

1.Memcached Memcached的优点: Memcached可以利用多核优势,单实例吞吐量极高,可以达到几十万QPS(取决于key、value的字节大小以及服务器硬件性能,日常环境中QPS高峰大约在4-6w左右)。适用于最大程度扛量。 支持直接配置为session handle。Mem...

2018-08-20 12:57:39

阅读数:44

评论数:0

分布式缓存学习之一:Memcached, Redis, MongoDB区别

Redis是一个开源(BSD许可),内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理。   Memcached是一个自由开源的,高性能,分布式内存对象缓存系统。   MongoDB是一个基于分布式文件存储的数据库,文档型的非关系型数据库,与上面两者不同。     1.性能上...

2018-08-20 12:57:03

阅读数:43

评论数:0

必须知道的八大种排序算法【java实现】(一) 冒泡排序、快速排序

冒泡排序   冒泡排序是一种简单的排序算法。它重复地走访过要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换,也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。   冒泡排序的示例: ...

2018-08-19 14:55:38

阅读数:43

评论数:0

必须知道的八大种排序算法【java实现】(二) 选择排序,插入排序,希尔算法【详解】

一、选择排序   1、基本思想:在要排序的一组数中,选出最小的一个数与第一个位置的数交换;然后在剩下的数当中再找最小的与第二个位置的数交换,如此循环到倒数第二个数和最后一个数比较为止。      2、实例     3、算法实现    /** * 选择排序算法 ...

2018-08-19 14:54:55

阅读数:26

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭