- 博客(17)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HTTP协议
一 HTTP概述HTTP（hypertext transport protocol），即超文本传输协议。这个协议详细规定了浏览器和万维网服务器之间互相通信的规则。HTTP就是一个通信规则，通信规则规定了客户端发送给服务器的内容格式，也规定了服务器发送给客户端的内容格式。其实我们要学习的就是这个两个格式！客户端发送给服务器的格式叫“请求协议”；服务器发送给客户端的格式叫“响应协议”。特点：HTTP叫超文本传输协议，基于请求/响应模式的！ HTTP是无状态协议。URL：统一资源定位符，就是一
2020-06-03 22:47:01
5119
转载 scrapy配置爬虫关闭的条件（二）
Scrapy 没有按照配置 CLOSESPIDER_ITEMCOUNT, CLOSESPIDER_TIMEOUT 来终止爬虫的问题在settings中配置了关闭爬虫的相关扩展：CLOSESPIDER_TIMEOUTCLOSESPIDER_ITEMCOUNTCLOSESPIDER_PAGECOUNTCLOSESPIDER_ERRORCOUNT或者是在命令行运行spider...
2020-02-08 13:57:23
936
转载 scrapy配置爬虫关闭的条件（一）
scrapy配置爬虫关闭的条件在scrapy的默认配置文件中看到这四个配置：CLOSESPIDER_TIMEOUT = 0CLOSESPIDER_PAGECOUNT = 0CLOSESPIDER_ITEMCOUNT = 0CLOSESPIDER_ERRORCOUNT = 0这四个配置是配置爬虫自动关闭条件的，等于0代表不开启。CLOSESPIDER_TIMEOUT默认值:0...
2020-02-08 13:55:34
837
1
原创 Scrapy爬虫cookies设置的坑
scrapy的settings文件的COOKIES_ENABLED：当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义coo...
2020-02-06 21:03:56
562
1
原创 scrapy使用yield返回Request的步骤(应该是最清楚的)
scrapy使用yield返回Request的步骤是怎么样的Python的yield是一个比较特别的关键字。 1 2 3 4 5 6 >>>deftest_yield(): ...foriinrange(3): ...yieldi ......
2020-02-06 11:27:43
7286
3
转载 python中的yield通俗理解
python中的yield通俗理解I、理解yield，第一步需要理解yield和return的区别print('yield:')def _testyield(): for i in range(5): yield i*i#这里产生生成器对象,跟java对象意思相同generator = _testyield()for i in range(5): ...
2020-02-06 09:09:40
156
转载 callback回调函数--python
callback回调函数--python编程分为两类：系统编程（system programming）和应用编程（application programming）。所谓系统编程，简单来说，就是编写库；而应用编程就是利用写好的各种库来编写具某种功用的程序，也就是应用。系统程序员会给自己写的库留下一些接口，即API（application programming interface，应用编程接口）...
2020-02-05 10:49:08
208
原创 Python Requests：proxy代理错误
Python Requests：proxy代理错误源码：<span style="color:#333333"><span style="color:black"><code class="language-python"><span style="color:#0077aa">import</span> req...
2020-01-29 14:10:00
4379
转载 无线网络的几种认证与加密方式
1、Open/NONE 完全不认证也不加密，任何人都可以连到无线基地台使用网络。2.WEP (Wired Equivalent Privacy)有线等效加密 最基本的加密技术，手机用户、笔记型计算机与无线网络的Access Point（网络金钥AP）拥有相同的网络金钥，才能解读互相传递的数据。这金钥分为64bits及128bits两种，最多可设定四组不同的金钥。当用户端进入WL...
2019-11-07 08:28:10
4465
转载 RAID技术全解图解-RAID0、RAID1、RAID5、RAID100
图文并茂 RAID 技术全解 – RAID0、RAID1、RAID5、RAID100…… RAID 技术相信大家都有接触过，尤其是服务器运维人员，RAID 概念很多，有时候会概念混淆。这篇文章为网络转载，写得相当不错，它对 RAID 技术的概念特征、基本原理、关键技术、各种等级和发展现状进行了全面的阐述，并为用户如何进行应用选择提供了基本原则，对于初学者应该有很大的帮助。一、RAI...
2019-11-01 21:27:09
354
转载 网络层次与主要设备对应关系
网络层次与主要设备对应关系互联设备 工作层次 主要功能 中继器 物理层 对接受信号进行再次和发送，只起到扩展传输距离用，对高层协议是透明的，但使用个数有限（以太网是4个） 网桥 数据链路层 根据帧物理地址进行网络间信息转发，可缓解网络通信繁忙度，提高效率，只能够连接相同MAC层的网络 路由器 网络层 通过逻辑地址进行网络间的信息...
2019-10-29 22:34:22
2863
转载 OSI七层协议大白话解读（对应网络设备）v3.0
OSI七层协议大白话解读互联网的本质就是一系列的网络协议，这个协议就叫OSI协议（一系列协议），按照功能不同，分工不同，人为的分层七层。实际上这个七层是不存在的。没有这七层的概念，只是人为的划分而已。区分出来的目的只是让你明白哪一层是干什么用的。每一层都运行不同的协议。协议是干什么的，协议就是标准。实际上还有人把它划成五层、四层。七层划分为：应用层、表示层、会话层、传输层、网...
2019-10-29 22:17:12
647
1
转载 webService详细
<definitions> <types> 定义 web service 使用的数据类型 </types> <message> 每个消息均由一个或多个部件组成。可以把它当做java中一个函数调用的参数。 </message> <portType> 它类似Java中的一个函数库（或一个模块、或一个类...
2019-10-25 10:45:24
1540
转载 OSI七层模型详解（物理层、数据链路层、网络层、传输层.....应用层协议与硬件）v3.0
OSI七层模型详解（物理层、数据链路层、网络层、传输层.....应用层协议与硬件）OSI 七层模型通过七个层次化的结构模型使不同的系统不同的网络之间实现可靠的通讯，因此其最主要的功能就是帮助不同类型的主机实现数据传输 。完成中继功能的节点通常称为中继系统。在OSI七层模型中，处于不同层的中继系统具有不同的名称。一个设备工作在哪一层，关键看它工作时利用哪一层的...
2019-10-25 10:21:12
1312
原创 OSI参考模型v2.0
OSI参考模型v2.0OSI七层模型这里我们只对OSI各层进行功能上的大概阐述，不详细深究，因为每一层实际都是一个复杂的层。后面我也会根据个人方向展开部分层的深入学习。这里我们就大概了解一下。我们从最顶层——应用层 开始介绍。整个过程以公司A和公司B的一次商业报价单发送为例子进行讲解。<1> 应用层OSI参考模型中最靠近用户的一层，是为计算机用户提供应用接口，...
2019-10-25 10:10:25
239
原创 OSI参考模型详解v1.0
OSI参考模型详解v1.01.协议的分层ISO在制定标准化OSI之前，对网络体系结构相关的问题进行了充分的讨论，最终提出了作为通信协议设计指标的OSI参考模型。这一模型将通信协议中必要的功能分成7层。通过这些分层，使得那些比较复杂的网络协议更加简单化。在这一模型中，每个分层都接收由它下一层所提供的特定服务，并且负责为自己的上一层提供特定的服务。上下层之间进行交互时所遵循的约定...
2019-10-25 10:08:39
416
原创 概念模型，逻辑模型，物理模型
自从接触到数据库到如今这三个概念大家理解的还有些不清楚，今天来为大家解答疑惑，共同提高，结合生活理解概念模型概念模型就是在了解了用户的需求，用户的业务领域工作情况以后，经过分析和总结，提炼出来的用以描写叙述用户业务需求的一些概念的东西。如销售业务中的“客户”和“定单”，还有就是“商品”，“业务员”。 用USE CASE（用例图）来描写叙述就是：“业务员”与“客户”就购买“商品”...
2019-10-24 09:52:29
3690
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人