MinggeQingchun的博客

（item是scrapy中，连结spider和pipeline的桥梁，即items是 定义数据结构 ）（3）最后，pipeline通过 调用items获取数据，再 写入指定文件或通过数据库连接存入数据库。（3）在管道文件中的process_item方法接收item对象，然后把item对象存储。（1）首先，spider 爬取了数据，过滤后 写入到items中。（1）爬虫文件爬取到数据后，把数据赋给item对象。：管道文件，接收数据（item），进行持久化操作。建一个大学表【universities】

就相当于一个封装了很多功能的结构体，它帮我们把主要的结构给搭建好了，我们只需往骨架里添加内容就行。是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy是网页抓取框架，支持CSS选择器和XPath，可将数据以多种格式（如CSV、JSON、XML）导出。包含Spiders、Pipelines、DownloaderMiddleware等组件，具有高效性、灵活性和强大选择器。应用于 数据挖掘、监测和，数据采集、SEO、社交媒体监测等。

是一款免费的Chrome插件，专用于网页解析和爬虫辅助。它允许用户轻松获取网页数据的XPath，以便进行批量爬取。下载插件后，通过拖拽安装到Chrome浏览器，然后在网页上右键检查，复制XPath并输入到XPath Helper查询框，即可高亮显示对应元素。此外，插件还支持批量获取数据、链接和文本等功能，对于前端开发者和爬虫工程师来说非常实用。如下图所示，在QUERY输入框中写XPath代码，右侧文本框会显示查找到的xpath结果，在网页中也会高亮度显示xpath所在的位置。

是 Python 的第三方解析库，完全使用 Python 语言编写，它对 Xpath 表达式提供了良好的支持，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高，全称，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。

库是一个功能强大的HTTP库，用于发送各种HTTP请求，如GET、POST、PUT、DELETE等。使用requests可以模拟浏览器的请求，比起之前用的urllib，requests模块的api更加便捷（本质就是封装了。

‌‌ 简称（其中 4 表示版本号）是一个 Python 第三方库，是一个用于解析HTML和XML文档的Python库，主要用于从网页中提取数据。它能够将HTML或XML文档转换为一个树形结构，使得用户可以通过编程方式方便地访问、提取和操作网页中的数据‌。图：BS4官网LOGO图。

库是Python内置的HTTP请求库。无需额外安装，可以直接使用。urllib库包含以下四个模块。1、request：最基本的HTTP请求模块，可以模拟请求的发送。只需给该库方法传入URL以及对应的参数，就可以模拟浏览器发送请求了2、error：异常处理模块。如果出现请求异常，我们可以捕获这些异常，然后进行重试或其他操作保证程序运行不会意外终止3、parse：一个工具模块。提供了许多URL的处理方法，如拆分、解析、合并等。

curl：功能更强大，支持更多协议，适合做更复杂的 HTTP 请求和文件上传等任务。wget：更简单，专注于文件下载，特别是在需要递归下载或者从 FTP 下载时非常方便。如果你只是需要简单的文件下载，可以使用wget；如果你需要更多的控制，或者想要与 API 交互，建议使用curl。

User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用application/json ： 在 JSON RPC 调用时使用application/x-www-form-urlencoded ： 浏览器提交 Web 表单时使用。

n = 1print("子进程%s开始,n："%self.name,n)n += 1p1.start()p2.start()

在Python中接入Redis数据库通常使用redis-py这个库。

Python的标准数据库接口为：Python DB-API，Python DB-API为开发人员提供了数据库应用编程接口。PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个实现库，Python2中则使用mysqldb。PyMySQL 遵循 Python 数据库 API v2.0 规范，并包含了 pure-Python MySQL 客户端库。

元字符 说明 正确 错误\d 匹配任意单个数字 2 i、$\D 匹配非数字 A/a 3\w 匹配任意单个字母数字下划线 u &\W 匹配\w之外的任意单个字符 & u\s 匹配单个空格 x\S 匹配非空白，除空格，tab键之类 x\n 匹配换行符. 匹配任意单个字符【换行符除外】\num 匹配前面引用的分组多次的重复匹配正则表达式 说明 正确 错误A{3} 精准N次匹配 AAA AA|A|AAAAA{3,} 最少出现n次 AAA A\d{3,5} 约定出现最少次数和最大次数。

作为动态类型语言的Python，在面向对象编程(OOP)方面具有很大的灵活性。例如，下面这段代码初步定义了一个Author类，包含了属性name和age。

在使用Python开发脚本，作为一个运维工具，或者其他工具需要接受用户参数运行时，这里就可以用到命令行传参的方式，可以给使用者提供一个比较友好的交互体验。在Python中，最常用的命令行参数解析方式是使用和创建一个test.py文件str(sys.argv) 是命令行参数列表len(sys.argv) 是命令行参数个数sys.argv[0] 表示脚本名。

Python有强大的第三方库，有很多常用功能Python提供自带的内置模块。简而言之，模块就是封装了一堆函数的py文件，就像是一个工具包，要使用里面的工具，得先将工具包那过来。模块也是一样，在程序中需要用到模块得先将模块导入解释器遇到import关键字，如果模块在当前的搜索路径就会被导入。查看import导入的搜索路径，导入模块时会优先搜索当前目录下是否有这个名字的模块，所以在模块命名的时候不要与系统中的模块有重名。（1）当前目录。

文件一般操作步骤1、打开文件2、读/写文件3、保存文件4、关闭文件，我们打开一个文件时，可以给它指定一个编码类型。

是一个利用SDL库的写的游戏库，SDL呢，全名Simple DirectMedia Layer，是一位叫做Sam Lantinga的大牛写的 SDL是用C写的，不过它也可以使用C++进行开发，当然还有很多其它的语言，Pygame就是Python中使用它的一个库。

自定义异常，都要直接或间接继承Error或Exception类。由开发者主动抛出自定义异常，在python中使用raise关键字# 自定义一个异常类class LeNumExcept(Exception): # 自定义异常类需要继承Exceptionreturn '[error:]你输入的数字小于0，请出入大于0的数字'passtry:num = int(input('请出入一个数字：'))# raise 关键字抛出异常print(e) # 捕获异常else:print('没有异常')

‌‌：类属性是定义在类中的变量，属于类本身，而不是类的任何特定实例。所有类的实例共享同一个类属性。类属性通常位于类的顶部，定义在类的任何方法之外。类属性的一个常见用途是存储与类相关的常量或共享的状态信息，例如数据库连接信息、默认配置或类的共享状态‌。‌‌：实例属性是定义在类的构造方法（通常是__init__方法）中的变量，属于类的每个实例。每个实例都有自己独立的一组实例属性，互不影响。实例属性通常在类的构造方法内定义，并使用self关键字来访问。

‌面向过程编程‌：适合处理简单的任务，但不易于扩展和维护。‌函数‌：独立的功能块，适用于各种编程范式。‌方法‌：属于类的一部分，适用于面向对象编程，支持封装、继承和多态等特性面向过程编程与函数式编程对比。

内置函数就是python安装后就自带有的函数任何一门编程语言的核心操作都是操作内存中的数据，但内存中的数据又是通过编程语言的API来实现，所谓的API，就是系统提供给我们的函数，有一种函数是系统预先定义的函数，也就是我们安装python就自带的函数，这种我们把它称为内置函数，也叫内嵌函数id(object): 返回对象的唯一标识符，通常是其内存地址。: 返回对象的类型。: 返回对象的属性名和方法名列表。如果不传递参数，它会返回当前范围内的变量、方法和定义的类型列表。: 返回对象的帮助信息。len(s)

整数（Integers）：不带小数点的数字，可以是正数或负数。浮点数（Floating point numbers）：带有小数点的数字。复数（Complex Numbers）：包含实部和虚部的数字。布尔（Boolean）：有两个值，True或False。字符串（String）：由零个或多个字符组成的有序字符序列。列表（List）：有序的集合，可以随时添加和删除其中的元素。元组（Tuple）：与列表类似，但元组中的元素不能修改。集合（Set）：无序且不重复的元素集合。

在Python中，使用关键字def来定义一个函数。函数的定义包括函数名称、参数列表和函数体def + 关键字 + 小括号 + 冒号+ 换行缩进 + 代码块 定义一个函数def 函数名(): 代码块# 函数体。

访问值的安全方式get方法，在我们不确定字典中是否存在某个键而又想获取其值时，可以使用get方法，还可以设置默认值。元组的内置方法count，统计元素在元组中出现的次数 元组的内置方法index 查找指定元素在元组中的下标索引。1、不是序列类型 没有下标的概念，是一个无序的 键值集合，是内置的高级数据类型。特征：第一个正索引为0，指向的是左端，第一个索引为负数的时候，指向的是右端。2：列表中的数据是可以变化的【数据项可以变化，内存地址不会改变】2、字典的键（key）只能是不可变类型，如数字，字符串，元组。

针对Python语言以及其发展历程，特点以及开发工具安装等参考上文，本文不再赘述！‌：‌‌：项目工程名应使用首字母大写加驼峰命名法，例如‌。‌‌：包名和模块名应全部使用小写字母，并且使用下划线分隔。例如，mypackage‌。‌‌：文件名也应全部使用小写字母，并且使用下划线分隔。例如，‌。‌‌：类名应使用首字母大写的驼峰命名法（Pascal命名法）。例如，ClassName‌。私有类名称需要在类名前加一个下划线，例如_ClassName‌。‌‌：函数名应全部使用小写字母，并且使用下划线分隔。

Python 是一种高级编程语言，Python是一种面向对象的解释型计算机程序设计语言，Python由的于1989 年底发明，并于 1991 年首次发布，作为一门叫做的替代品。Python提供了高效的高级，还能简单有效地编程。第一个公开发行版版发布于 1991 年。它常被昵称为胶水语言，能够把其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。