不谙世事的少年-CSDN博客

原创 ubuntu安装docker

https://jingyan.baidu.com/article/0aa223756cf6e388cc0d6412.html

2020-09-07 16:39:14 84

原创 TCP三次握手四次挥手详解

TCP三次握手所谓三次握手(Three-way Handshake)，是指建立一个TCP连接时，需要客户端和服务器总共发送3个包。三次握手的目的是连接服务器指定端口，建立TCP连接,并同步连接双方的序列号和确认号并交换 TCP 窗口大小信息.在socket编程中，客户端执行connect()时。将触发三次握手。第一次握手:客户端发送一个TCP的SYN标志位置1的包指明客户打算连接的服务器...

2019-01-24 19:42:04 139

转载 HTTP的长连接和短连接

HTTP协议与TCP/IP协议的关系HTTP的长连接和短连接本质上是TCP长连接和短连接。HTTP属于应用层协议，在传输层使用TCP协议，在网络层使用IP协议。 IP协议主要解决网络路由和寻址问题，TCP协议主要解决如何在IP层之上可靠地传递数据包，使得网络上接收端收到发送端所发出的所有包，并且顺序与发送顺序一致。TCP协议是可靠的、面向连接的。如何理解HTTP协议是无状态的HTTP...

2019-01-15 16:05:11 111

通过在settings.py中设置DEPTH_LIMIT的值可以限制爬取深度，这个深度是与start_urls中定义url的相对值。也就是相对url的深度。例如定义url为：http://www.domz.com/game/,DEPTH_LIMIT=1那么限制爬取的只能是此url下一级的网页。深度大于设置值的将被ignore。原文：https://blog.csdn.net/u013378306...

2019-01-14 10:22:27 1225 2

转载基于Scrapy分布式爬虫的开发与设计

一、系统功能架构系统功能架构图分布式爬虫抓取系统主要包含以下功能：1．爬虫功能：爬取策略的设计内容数据字段的设计增量爬取请求去重2．中间件：爬虫防屏蔽中间件网页非200状态处理爬虫下载异常处理3．数据存储：抓取字段设计数据存储4．数据可视化二、系统分布式架构分布式采用主从结构设置一个Master服务器和多个Slave服务器，Master端管理R...

2019-01-11 20:03:54 320

原创使用ip代理爬数据

import requestsfrom lxml import etreeimport pymysqldb = pymysql.connect('localhost','root','mysql','lagou',charset='utf8')cursor =db.cursor()主要是这个函数def get_ip_port(): 这个是蘑菇代理生成的api网址 url = ...

2019-01-11 09:16:35 800

原创算法随笔

99乘法表for i in range(1,10): for j in range(1,i+1): print('%d*%d=%d'%(i,j,i*j),end=' ') print(' ')一行实现99乘法表print("\n".join("\t".join(["%s*%s=%s" % (y, x, x * y) for y in range(1, x +...

2019-01-08 10:02:14 89

转载 xrange与range之间的区别

对于这两个好像功能都差不多，这两个经常会被搞混，所以今天一定要把这个完全弄清楚。首先我们看看range: range([start,] stop[, step])，根据start与stop指定的范围以及step设定的步长，生成一个序列。注意这里是生成一个序列。xrange的用法与range相同，即xrange([start,] stop[, step])根据start与stop指定的范围以及s...

2019-01-08 08:48:23 120

原创用递归方法判断字符串是否是回文

def isPalindrome(s):if len(s) &amp;lt; 2: #如果字符串只有0个或1个字符，那么该字符串符合回文的定义return Trueif s[0]!=s[-1]: #如果字符串不止一个字符，那么检查字串符的第一项和最后一项是否等同return Falsereturn isPalindrome(s[1:-1]) #字串符的第一项和最后一项等同，所以去除字符串的第一项...

2019-01-07 11:58:57 3206

原创 map/reduce

Python内建了map()和reduce()函数。如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”，你就能大概明白map/reduce的概念。我们先看map。map()函数接收两个参数，一个是函数，一个是序列，map将传入的函数依次作用到序列的每个元素，并把结果作为新的list返回。...

2019-01-07 11:39:44 99

转载垃圾回收：引用计数与分代收集机制

来源：https://blog.csdn.net/xun527/article/details/77017862当引⽤计数为0时，该对象⽣命就结束了。引⽤计数机制的优点：1、简单2、实时性：⼀旦没有引⽤，内存就直接释放了。不⽤像其他机制等到特定时机。实时性还带来⼀个好处：处理回收内存的时间分摊到了平时。引⽤计数机制的缺点：1、维护引⽤计数2、消耗资源循环引⽤list1 = ...

2019-01-07 11:02:42 180

qq_42491946的博客