止咳糖浆加糖-CSDN博客

原创 Scrapy框架中间件(一篇文章齐全)

Scrapy的中间件有两个：爬虫中间件（一般不会去用，就不多赘述了下载中间件中间件在五大核心组件的什么位置：下载中间件位于引擎和下载器之间。引擎会给下载器传递请求对象，下载器会给引擎返回响应对象。根据位置了解中间件的作用：可以拦截到scrapy框架中所有的请求和响应。拦截请求干什么？修改请求的ip，修改请求的头信息，设置请求的cookie。拦截响应干什么？可以修改响应数据。这就是2个中间件，其中爬虫中间件很少用到，为了简介明了，我们给他删除或者注释掉就行了。

2023-11-30 22:46:35 2346

原创 Scrapy框架内置管道之图片视频和文件(一篇文章齐全)

为什么会在这个文件夹中呢？因为刚开始的 settings 中，我们创建并指定了这个文件夹！！！补充：在设置 settings 中，还可以设置图片的缩略图尺寸。代码流程：1.在爬虫文件中进行图片/视频的链接提取2.将提取到的链接封装到items对象中，提交给管道def get_media_requests(self, item, info):接收爬虫文件提交过来的item对象，然后对图片地址发起网路请求，返回图片的二进制数据。

2023-11-27 15:19:02 1587

原创 Scrapy爬虫异步框架之持久化存储（一篇文章齐全）

1、2、Scrapy框架持久化存储（点击前往查阅）3、Scrapy框架内置管道（点击前往查阅）4、Scrapy框架中间件（点击前往查阅）是一个开源的、基于Python的爬虫框架，它提供了强大而灵活的工具，用于快速、高效地提取信息。Scrapy包含了自动处理请求、处理Cookies、自动跟踪链接、下载中间件等功能。

2023-11-26 16:17:18 2608

原创 Scrapy爬虫异步框架(一篇文章齐全)

1、Scrapy框架初识2、Scrapy框架持久化存储（点击前往查阅）3、Scrapy框架内置管道（点击前往查阅）4、Scrapy框架中间件（点击前往查阅）Scrapy 是一个开源的、基于Python的爬虫框架，它提供了强大而灵活的工具，用于快速、高效地提取信息。Scrapy包含了自动处理请求、处理Cookies、自动跟踪链接、下载中间件等功能。

2023-11-26 08:00:00 2614

原创 Django必备知识点（图文详解）

http://127.0.0.1:8000/login/ 成功http://127.0.0.1:8000/login django，重定向301http://127.0.0.1:8000/login/ 成功http://127.0.0.1:8000/login 成功http://127.0.0.1:8000/login/ 失败http://127.0.0.1:8000/login/ 成功http://127.0.0.1:8000/login 失败。

2023-11-25 09:26:56 1497

原创 Django框架环境的搭建（图文详解）

知道如何基于pycharm+虚拟环境+业务场景 -> 创建django项目。问题：给别人的代码+

2023-11-23 10:09:14 2071

原创 jQuery的学习(一篇文章齐全)

jQuery是什么jQuery是一个快速、简洁的JavaScript框架，是继Prototype之后又一个优秀的JavaScript代码库（或JavaScript框架jQuery设计的宗旨是“write Less，Do More”，即倡导写更少的代码，做更多的事情。它封装JavaScript常用的功能代码，提供一种简便的JavaScript设计模式，优化HTML文档操作、事件处理、动画设计和Ajax交互。jQuery的核心特性可以总结为：具有独特的链式语法和短小清晰的多功能接口；

2023-11-22 21:03:39 464

原创 JavaScript的学习之BOM和DOM，就这一篇就OK了！（超详细）

相同浏览器的不同页面间可以共享相同的 localStorage（页面属于相同域名和端口），但是不同页面或标签页间无法共享sessionStorage的信息。这里需要注意的是，页面及标签页仅指顶级窗口，如果一个标签页包含多个iframe标签且他们属于同源页面，那么他们之间是可以共享sessionStorage的。使用存储对象的过程中, 对象数据会根据域名端口进行保存的,所以 js不能获取当前页面以外其他域名端口保存到本地的数据。2、document对象可以是任意dom对象，将查询范围限制在当前dom对象。

2023-11-21 22:19:50 141

原创 JavaScript的学习，就这一篇就OK了！（超详细）

引用值是把引用变量的名称储存在栈中，但是把其实际对象储存在堆中，且存在一个指针由变量名指向储存在堆中的实际对象，当把引用对象传递给另一个变量时，复制的其实是指向实际对象的指针，此时两者指向的是同一个数据，若通过方法改变其中一个变量的值，则访问另一个变量时，其值也会随之加以改变；另一种只有一个值的类型是 null，它只有一个专用值 null，即它的字面量。原始变量及他们的值储存在栈中，当把一个原始变量传递给另一个原始变量时，是把一个栈房间的东西复制到另一个栈房间，且这两个原始变量互不影响。

2023-11-19 22:37:00 382

原创 CSS的选择器(一篇文章齐全)

CSS中支持元素对背景图像的定位摆放功能，就是利用background-position属性来实现，以页面中元素的左上角为原点（0，0），把元素的内部区域当成一个坐标轴（上边框为X轴，越往左X的值越大，左边框为Y轴，越往下Y轴的值就越大，反之亦然），然后计算出背景图片的左上角与圆点的距离（x轴和y轴的距离），然后把背景图片放入到指定的位置上，对背景图片的位置进行精确的控制和摆放。如果A元素上一个元素是标准流中的元素，那么A的相对垂直位置不会改变，也就是说A的顶部总是和上一个元素的底部对齐。

2023-11-18 19:47:33 1330

原创 HTML标签讲解使用（超详细）

这样的话，我们就可以在网页的顶部设置一些锚点，这样便可以方便浏览者点击相应的锚点，到达本页内相应的位置，而不必在一个很长的网页里自行寻找。表单主要是用来收集客户端提供的相关信息，提供了用户数据录入的方式，有多选、单选、单行文本、下拉列表等输入框，便于网站管理员收集用户的数据，是Web浏览器和Web服务器之间实现信息交流和数据传递的桥梁.2、网络链接指的是依靠网络来进行关联的地址，一般在地址前面是以 http://或者https://这样开头的，如果没有网络，则用户点击了超链接也无法访问对应的目标。

2023-11-17 23:45:41 210

原创 Typora下载安装（Mac和Windows）图文详解

Typora是一款简洁而强大的Markdown编辑器。它提供实时预览功能，让用户可以即时查看文档的渲染效果。Typora采用所见即所得的编辑模式，没有繁杂的标记符号，用户可以专注于写作而不必分心处理格式。此外，Typora还支持数学公式、表格、图像等丰富的Markdown语法和扩展功能。总之，Typora是一款易用且功能丰富的Markdown编辑器，适用于撰写各种类型的文档。

2023-11-17 23:22:47 1467

原创手把手安装部署Redis（Windows和Mac）图文详解

Redis是一款开源的内存数据结构存储系统，它支持键值对的存储和多种数据结构，如字符串、列表、哈希表和集合等。Redis具有高性能、高可用性和可扩展性等特点，被广泛应用于缓存、消息队列和分布式锁等场景。

2023-11-16 23:42:53 5626

原创 MySQL必备SQL语句、表关系及授权（超详细）

在MySQL中支持创建账户，并给账户分配权限，例如：只拥有数据库A操作的权限、只拥有数据库B中某些表的权限、只拥有数据库B中某些表的读权限等。一般情况下，在很多的正规公司，数据库都是由 DBA 来统一进行管理，DBA为每个项目的数据库创建用户，并赋予相关的权限。大量的工作应该放在前2个步骤，前期的设计完成之后，后续的功能代码开发就比较简单了。多对多，需要三张表来存储信息，两张单表 + 关系表，创造出两个单表之间。depart主表，，就以depart数据为主，info为辅。

2023-11-16 11:00:01 263

原创 MySQL数据库管理，内置客户端和Python操作方法，SQL注入如何避免（超详细）

主键一般用于表示当前这条数据的ID编号（类似于人的身份证），需要我们自己来维护一个不重复的值，比较繁琐。所以，在数据库中一般会将主键和自增结合。对于TIMESTAMP，它把客户端插入的时间从当前时区转化为UTC（世界标准时间）进行存储，查询时，将其又转化为客户端当前时区进行返回。So，你会发现，在项目开发时，数据库 & 数据表的操作其实就做那么一次，最最常写的还是对数据行的操作。当连接上MySQL之后，执行如下指令（一般称为SQL语句），就可以对MySQL的数据进行操作。

2023-11-15 22:39:26 63

原创最新版MySQL安装 & 配置 & 启动，Mac和window（超详细）

强烈，建议大家还是把配置文件放在MySQL安装目录下，这样以后电脑上想要安装多个版本的MySQL时，配置文件可以相互独立不影响。注意：如果你电脑的上述其他目录存在MySQL配置文件，建议删除，否则可能会影响MySQL的启动。在安装MySQL时，其实也自动安装了一个工具（客户端），让我们快速实现连接MySQL并发送指令。在安装MySQL时，其实也自动安装了一个工具（客户端），让我们快速实现连接MySQL并发送指令。其实，配置项有很多，而哪些配置项都有默认值，如果我们不配置，MySQL则自动使用默认值。

2023-11-14 22:04:11 1564

原创 Windows和苹果 Navicat Premium16.2 永久使用教程汉化版附带工具下载亲测可用（包含下载链接地址）

目录Windows版本一、软件下载二、软件安装三、注意事项Mac版本一、下载及安装：二、问题解决Navicat Premium for Mac是一款功能强大的数据库管理工具，具有多重连接的特点。无论是专业开发人员还是数据库服务器的新手，都能够轻松学习和使用它。Navicat Premium支持连接到目前主流数据库的所有版本,包括MySQL、SQL Server、SQLite、Oracle和PostgreSQL，Redis等。这意味着你可以使用单一程序连接并管理不同类型的数据库，从而使数据库管理更加方便。此外

2023-11-13 16:59:43 8722 22

原创 python多线程和多进程socket服务端，并发和并行区别

从知识点的角度来看，本身两者其实没有什么关系：网络编程，基于网络基础知识、socket模块实现网络的数据传输。并发编程，基于多进程、多线程等来提升程序的执行效率。但是，在很多 “框架” 的内部其实会让两者结合起来，使用多进程、多线程等手段来提高网络编程的处理效率。

2023-11-06 20:23:42 153

原创 python并发编程，多进程开发、进程间数据的共享、进程锁、进程池、协程

passp1.start()passdef run():p.start()run()关于在Python中基于multiprocessiong模块操作的进程：arefork，【“拷贝”几乎所有资源】【支持文件对象/线程锁等传参】【unix】【任意位置开始】【快】os.fork()spawn，【run参数传必备资源】【不支持文件对象/线程锁等传参】【unix、win】【main代码块开始】【慢】run()forkorforkserverforkserver。

2023-11-06 20:19:13 243

原创 python并发编程，多线程、GIL锁、线程安全、线程锁、死锁、线程池

今日概要初识进程和线程线程，是计算机中可以被cpu调度的最小单元(真正在工作）。进程，是计算机资源分配的最小单元（进程为线程提供资源）。一个进程中可以有多个线程,同一个进程中的线程可以共享此进程中的资源。多线程开发线程安全：多个线程同时去操作一个"东西"，会存在数据混乱的情况线程锁：在程序中如果想要自己手动加锁，一般有两种：Lock 和 RLock。LockRLock：RLock支持多次申请锁和多次释放；Lock不支持死锁：由于竞争资源或者由于彼此通信而造成的一种阻塞的现象。

2023-11-06 20:07:42 287

原创 python网络编程，OSI 7层模型、UDP和TCP协议、TCP三次握手和四次挥手、粘包、阻塞和非阻塞、IO多路复用

epoll同样只告知那些就绪的文件描述符，而且当我们调用epoll_wait()获得就绪文件描述符时，返回的不是实际的描述符，而是一个代表就绪描述符数量的值，你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可，这里也使用了内存映射（mmap）技术，这样便彻底省掉了这些文件描述符在系统调用时复制的开销。poll和select同样存在一个缺点就是，包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间，而不论这些文件描述符是否就绪，它的开销随着文件描述符数量的增加而线性增大。

2023-11-06 19:53:58 97

原创 python网络编程，网络架构、交换机、路由器，B/S和C/S架构，详细阐述

假设，你想要在腾讯云租一台服务器，就可以根据自己的需求去选择配置，腾讯云会根据配置在他的物理机上虚拟出一个服务器，并进行相应的环境初始化并绑定公网固定IP，这样你就可以快速拥有一台可以被大家访问的服务器了。按理说，每个从运营商接入网的用户都可以有一个外网IP，但由于全球用户太多而IP根本就不够分配，所以，运营商网络会进行划分，让多个家庭宽带用户共用一个公网IP（动态，可能每次上网公网IP都不一样）。例如：中国万网(阿里云收购），中国新网，新网互联，商务中国，中国频道等。

2023-11-06 19:20:45 192