- 博客(64)
- 收藏
- 关注
RSS订阅原创 消费者
消费者与消费组消费者（Consumer）负责订阅Kafka中的主题（Topic），并且从订阅的主题上拉取消息。消费组（Consumer Group）每个消费者都有一个对应的消费组。当消息发布到主题后，只会被投递给订阅它的每个消费组中的一个消费者。特性 每一个分区只能被一个消费组中的一个消费者所消费。 消费组内的消费者个数变化消费者与消费组这种模型可以让整体的消费能力具备横向伸缩性，我们可以增加（或减少）消费者的个数来提高（或降低）整体的消费能力。消费...
2021-01-20 10:36:02
130
原创 事务
文章目录前言一、事务的实现1. 事务开始2. 命令入队3. 事务队列4. 执行事务二、WATCH命令的实现1.使用WATCH命令监视数据库键2.监视机制的触发3.判断事务是否安全4.一个完整的WATCH事务执行过程三、事务的ACID性质1. 原子性2.一致性2.1 入队错误2.2 执行错误2.3服务器停机3.隔离性4.耐久性总结参考资料前言Redis通过MULTI、EXEC、WATCH等命令来实...
2020-10-27 20:00:46
151
原创 Sentinel
文章目录前言一、启动并初始化Sentinel1.1 初始化服务器1.2 使用Sentinel专用代码1.3 初始化Sentinel状态1.4 初始化Sentinel状态的masters属性1.5 创建连向主服务器的网络连接二、获取主服务器信息三、获取从服务器信息四、向主服务器和从服务器发送信息五、接收来自主服务器和从服务器的频道信息5.1 更新sentinels字典5.2 创建连向其他Sentinel的命令连接六、检测主观下线状态七、检查客...
2020-10-15 16:23:02
261
原创 复制
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数..
2020-10-13 17:30:19
254
原创 python 进阶学习之13
>>> [id(x) for x in person,hus,wif ][3077489356L, 3077491084L, 3077491340L]>>> hus[0]='j'>>> wif[0]='s'>>> hus,wif(['j', ['savings', 100.0]], ['s', ['savings', 100.0]])>>> hus[1][1]=50.00
2014-07-26 11:41:27
399
原创 python 进阶学习之6
基础语法( ; )将两个语句连接在一行中( : ) 将代码块的头和体分开(#)表示注释( \ ) 继续上一行不同的缩进深度分隔不同的代码块
2014-07-19 13:55:20
495
原创 mysql入门学习笔记（一）
查看帮助1. 按层次mysql> ? contents;mysql> ? data types;mysql> ? int;2.快速查看mysql> ? show;mysql> ? create table; 表类型（存储引擎）1.Myisam是Mysql的默认存储引擎，每个Myisam在磁盘上存储成三个文件。文件名和表名相同，分别是.frm（存储表定义）
2014-02-12 14:16:27
499
原创 socket（一）
1.创建套接字result=socket(pf,type,protocol)pf：套接字使用的协议族type：指定了所需的通信类型protocol：用于选择协议 1.1 UNIX管道机制管道与标准网络操作的区别在于，管道同时创建了用于通信的两个端点。socketpair(pf,type,protocol,sarray)sarray：二元整数数组的地址。sarra
2013-10-23 20:55:21
498
原创 尝试写个爬虫（4）
系统架构在实际的系统实现时，系统要采用多线程技术，在这里，用户可以通过手动的方式，指定采集线程的数目。因此可分为以下模块：1.主控制模块：提供命令输入端口；2.采集模块：采用http下载方式，对用户指定的网址进行动态下载，采用多线程，用户在采集前需要配置采集线程数，采集的初始网址信息；3.网页分析模块：对采集到的网页进行分析，查找所有符合规则的URL信息，并判断该URL
2013-08-30 13:00:01
457
原创 尝试写个爬虫（3）
http请求与数据下载http（超文本传输协议）通常http用于传输文本信息，当然也可以传输二进制或者各种流式文件。通信原理如下：1.建立tcp会话连接，
2013-08-30 09:38:51
450
原创 尝试写个爬虫（2）
爬虫的工作原理我们的这个小爬虫主要是对应于搜索引擎的信息采集部分，即对目标网页的下载，分析存在的链接，并加入到新的收集队列中。主要技术关键在于网页下载，涉及到套接字与应用层协议编程。网页下载的基本流程是：1.获得URL，解析出主机，端口以及资源路径；2.调用DNS解析程序，将URL转换成ip地址；3.建立与目标服务器的tcp连接，并构造http请求报文，请求下载
2013-08-29 17:44:38
501
原创 尝试写个爬虫（1）
背景知识URL uniform resource locator 也是平常所说的网页地址。URL是标准的Internet协议，由协议类型，主机名，资源路径等组成。格式为： protocol://hostname[:port]/path/[;parameters][?query]protocal ：是协议类型，最常用的是http协议。hostname：主机地址，既可以用ip也可以
2013-08-29 12:52:16
596
原创 虚拟机用处的总结
现在主流有三种虚拟机，vmware、virtualbox和virtual pc。1. 支持windows，linux，mac等很多os的虚拟化工作；2. 可以安装在不同的os平台上，可以在windows上虚拟化linux，也可以在linux上虚拟化windows；3.使用virtualbox可以帮助我们学习网络的相关知识，比如说内部构建一个服务器网络、配置服务器、打造实验局域网；4
2013-08-29 09:33:25
7729
原创 mysql 学习之 常用SQL技巧
1.检索包含最大/最小值的行MIN([DISTINCT]expr),MAX([DISTINCT]expr)2.巧用rand()/rand(n)提取随机行ORDERBYRAND()同LIMIT的结合可以从一组列中选择随机样本3.利用group by的with rollup子句做统计当你使用ROLLUP时,你不能同时使用ORDERBY子句进行结果排序。换言之，ROLLUP和
2013-08-27 16:57:52
467
原创 mysql 学习之 SQL mode
查询当前的模式：SELECT @@sql_mode通过设置sql_mode变量更改模式：SET[SESSION|GLOBAL]sql_mode='modes'设置 GLOBAL变量时需要拥有SUPER权限，并且会影响从那时起连接的所有客户端的操作。设置SESSION变量只影响当前的客户端。任何客户端可以随时更改自己的会话 sql_mode值。
2013-08-27 13:19:55
457
原创 NoSQL
NoSQL，指的是非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。“关系型数据库给你强加了太多东西。它们要你强行修改对象数据，以满足RDBMS （relational database man
2013-08-27 09:51:36
507
原创 mysql 学习之三 数据类型
1. 固定长度数据列与可变长度的数据列char 和varcharCHAR 和VARCHAR 类型类似，但它们保存和检索的方式不同。它们的最大长度和是否尾部空格被保留等方面也不同。在存储或检索过程中不进行大小写转换。2.text 和blob（1）. BLOB和TEXT值也会引起自己的一些问题，特别是执行了大量的删除或更新操作的时候。删除这种值会在数据表中留下很大的
2013-08-25 20:52:51
511
原创 mysql 学习之二 表类型（存储引擎）的选择
首先解释一下存储引擎是什么例如，如果你在研究大量的临时数据，你也许需要使用内存存储引擎。内存存储引擎能够在内存中存储所有的表格数据。又或者，你也许需要一个支持事务处理的数据库(以确保事务处理不成功时数据的回退能力)。这些不同的技术以及配套的相关功能在MySQL中被称作存储引擎(也称作表类型)。MySQL默认配置了许多不同的存储引擎，可以预先设置或者在MySQL服务器中启用。你可
2013-08-25 19:25:13
594
原创 mysql 学习之一 帮助的使用
Server version:5.1.63-0ubuntu0.10.04.1登录mysql数据库进行操作命令：mysql -u用户 -p密码按照层次查看帮助？ contents？ data types？ int快速查阅操作？ showshow table status from 数据库；
2013-08-24 22:32:25
383
原创 数据库进一步学习
这一篇接着上回的入门。 上一篇是直接在命令行下输入所有的语句，包括insert，等等。但是我们完全可以用脚本将数据库写好。然后直接导入即可。 比如在/home/li 下写了一个table.sql，然后要进入到mysql> 模式下输入 source /home/li/table.sql 即可 我们还可以修改表1. alter table 表名 add 新列名 数据类
2013-06-22 11:22:43
429
原创 hadoop
一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（highthroughput）来访问
2013-06-15 23:30:22
584
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人