- 博客(19)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 RabbitMQ四种交换机
1. 简介RabbitMQ作为一个消息队列提供一个通用的消息发送和接收平台，并且保证消息在传输过程中的安全可靠。消息(Message)由Client发送，RabbitMQ接收到消息之后通过交换机转发到对应的队列上面。Worker会从队列中获取未被读取的数据处理。消息处理的过程有4种不同的交换机类型：直连交换机：Direct exchange扇形交换机：Fanout exchange主
2017-10-27 16:44:22
7817
1
原创 kafka(4)--使用Streams处理数据
1. 简介 Kafka Streams 是Kafka的客户端库， 用来做实时流处理和分析存储在Kafka代理服务器的数据。本文将演示如何运行这个流应用库。具体操作过程为：文件file-input.txt数据导入topic streams-file-input , 示例程序从topic streams-file-input中获取数据并计算各个单词的出现频率后将单词频率统计结果输出到topic str
2017-10-27 11:22:03
1244
原创 kafka(3) -- 连接导入、导出数据
有些场景下Kafka需要使用其他来源的数据或导出Kafka的数据到其他系统，相对于许多系统需要编写定制集成的代码，使用Kafka连接到系统去导入或导出数据更加简单。Kafka Connect是包括在Kafka中一个工具，用来导入导出数据到Kafka。它是connectors的一个可扩展工具，其执行定制逻辑，用于与外部系统交互。本文介绍如何使用Kafka Connect做一些简单的连接器从一个文件导入
2017-10-26 17:47:24
3461
原创 Centos7安装postgresql
1. 环境 操作系统版本：Centos7.2 数据库版本：postgresql9.5.32. 安装1) 添加RPM yum install https://download.postgresql.org/pub/repos/yum/9.5/redhat/rhel-7-x86_64/pgdg-centos95-9.5-2.noarch.rpm2) 安装PostgreSQL 9.5 yum ins
2017-10-26 13:44:23
451
原创 [ERROR] Table gym_api_utf8/membership_students contains 2 indexes inside InnoDB, which is different
1. 问题描述 alter table add index(xxx);时出现此问题，mysql服务版本5.5。 新特性“Fast index creation in Innodb”未出现以前，Innodb中创建索引的流程如下： 通过创建一个新的空的带有要创建索引的表，然后拷贝存在的行到新表中，同时更新索引，当此时key没有排序时插入条目极慢。在所有的行都被拷贝完成以后，旧表被删除，新表被改名。
2017-10-26 13:24:52
576
原创 kafka(2)--多节点
多节点集群只是比单节点集群多了一些代理实例，其他并没有什么太大的变化，本文以本机三个节点为例搭建kafka集群。1. kafka程序准备下载程序:wget http://mirror.bit.edu.cn/apache/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz解压:tar -zxvf kafka_2.11-0.10.2.0.tgzcd kafka_2.11
2017-10-24 21:11:48
2470
原创 kafka(1)--单节点
本文描述 Linux 上搭建单节点kafka，以Centos7.2为例。1. 准备kafka代码wget http://mirror.bit.edu.cn/apache/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz 解压压缩包: tar -zxvf kafka_2.11-0.10.2.0.tgz cd kafka_2.11-0.10.2.0其中bin目录下存放了操
2017-10-24 19:41:41
468
原创 常见问题
1. .net core 不支持KeyedHashAlgotithm .net core 中不支持KeyedHashAlgorithm.Create方法,因此可以使用new 来替代。 代码：//比如要使用HMACSHA1加密方法.//.net framework下// var algorithm = KeyedHashAlgorithm.Create("HMACSHA1")//.net co
2017-10-23 10:17:46
619
转载 nf_conntrack连接跟踪模块
nf_conntrack连接跟踪模块在iptables里，包是和被跟踪连接的四种不同状态有关的。它们分别是NEW，ESTABLISHED，RELATED和INVALID。后面我们会深入地讨论每一个状态。使用iptables的state模块可以匹配操作这几种状态，我们能很容易地控制“谁或什么能发起新的会话”。为什么需要这种状态跟踪机制呢？比如你的80端口开启，而你的程序被植入反弹式木马，导致
2017-10-20 10:38:04
43722
1
原创 Redis pipline
1. 简介 Redis本身是一个cs模式的tcp server, client可以通过一个socket连续发起多个请求命令。 每个请求命令发出后client通常会阻塞并等待redis服务端处理，redis服务端处理完后将结果返回给client。 redis的pipeline(管道)功能在命令行中没有，但redis是支持pipeline的，而且在各个语言版的client中都有相应的
2017-10-18 10:34:17
599
原创 mysql 共享表空间、独立表空间
1 简介 Innodb存储引擎可将所有数据存放于ibdata*的共享表空间，也可将每张表存放于独立的.ibd文件的独立表空间。 共享表空间以及独立表空间都是针对数据的存储方式而言的。 共享表空间: 某一个数据库的所有的表数据，索引文件全部放在一个文件中，默认这个共享表空间的文件路径在data目录下。 默认的文件名为:ibdata1 初始化为10M。
2017-10-14 15:17:50
4993
原创 Redis命令精要--列表
1. lpush 向列表插入数据 lpush l1 v12. rpush 列表中插入元素，与lpush方向相反 rpush l1 v13. lset 为列表中指定index设置设置值，即修改已有的数据。 lset l1 0 v1 设置index为0的位置值为v1 注：被lset的列表必须存在，否则报错。4. lpop 移除并返回列表的头元素(被移除的元素）。 lpop l15.
2017-10-12 17:07:21
235
原创 mysql 测试数据库employees导入
employees是mysql官方提供的测试库，安装步骤如下: 1. 下载库git clone https://github.com/datacharmer/test_db.git2. 导入测试库 从解压后的employees.sql中可以看到默认的存储引擎是InnoDB，可以根据需要进行修改，导入：mysql -t < employees.sql数据量较大，导入需要耗费一点时间。 查看数据库
2017-10-11 21:13:04
5337
1
原创 Redis 命令精要--string
1. append 为指定的key的值追加数据，如果key不存在则会进行新建。 set k1 a append k1 bc2. bitcount 计算字符串中1的位数。 setbit bit1 0 1 setbit bit1 1 0 bitcount bit1 可以用来统计网站中每个用户的登录次数： setbit personID dayNumber 1; bitcount per
2017-10-11 17:11:15
258
原创 Redis 存储自定义的数据类型
Redis自带的基本类型的操作可以自行查阅资料，网上可以轻易找到很多的相关的资料。 存储自定义类型时需要进行序列化、反序列化。1. Java示例代码//定义需要存储的数据 StudentVo studentVo = newStudentVo(); studentVo.setId(student.getId()); studentVo.setApplyTeacherState(stude
2017-10-10 12:40:42
2231
原创 Python数据库连接池DBUtils.PooledDB
1. 未使用连接池连接mysqlimport MySQLdbconn = MySQLdb.connect(host = '127.0.0.1', user ='user1', passwd = 'your-password', db ='db1', port = 3306) cur = conn.cursor()SQL ="select * from t1"r = cur.execute(
2017-10-09 15:19:16
4499
1
原创 codeblocks for windows
1. 下载安装包 官网下载包含编译器的二进制安装包。 建议下载包含编译器的安装包，否则编译器需要额外安装配置。2. 安装二进制包 下载完成后，双击安装即可，安装完毕后需要配置一下编译器的路径: setting->Complier->Gloabl complier setting->gnu gcc compiler->Toolchain executable，选择安装目录为MinGW(编译器安
2017-10-09 08:14:49
267
原创 测试服务器UDP/TCP丢包率
1. 测试UDP丢包率 30个现成以5Mbps速度测试60siperf -u -c 目的IP -b 5M -P 30 -t 602. 测试TCP丢包率iperf -c 目的IP -b 5M -P 30 -t 60
2017-10-09 08:09:00
16202
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人