上官轩言-CSDN博客

原创 scrapy数据建模与请求

❤在爬虫项目中，item.py文件通常用来定义数据模型（Item），用于存储从网页抓取到的信息。这种数据模型通常使用 Scrapy 框架提供的Item类或类似的类（如 PyQuery、BeautifulSoup 等库中的类似概念）来构建。

2024-05-30 20:21:41 372

原创有关爬虫pipelines管道文件（一）

定义一个管道重写管道类的process_item方法process_item方法处理完item之后必须返回给引擎#默认使用完管道之后需要将数据返回给引擎。

2024-05-30 20:05:24 1384 1

原创关于视频文件类型的详细讲解

F4V是FLV格式的后续版本，基于ISO基媒体文件格式（MPEG-4 Part 12），与FLV相比，F4V更严格遵循标准，主要支持H.264视频编码和AAC音频编码，提供了更好的视频质量和压缩效率。

2024-05-25 09:55:23 1898

尽管各个版本之间功能细节和性能有所差异，但自动补全作为一项基础且重要的特性，在PyCharm的所有主要版本中都是标配。PyCharm是由JetBrains开发的，自2010年首次发布以来，就作为一款专业的Python集成开发环境，集成了包括代码自动补全（也称作代码完成或智能提示）在内的多种功能，以提升开发者的编程效率。随着版本的迭代，这项功能也在不断地优化和增强，比如对更多第三方库的支持改进、更精准的上下文感知提示等。这样，即使你使用的是版本较低的pycharm，也可以实现turtle库的自动补全。

2024-05-23 20:22:03 369

原创关于正则表达式

a*--a出现0次或多次 a+--a出现1次或多次 a?--a出现0次或1次 a{6}--a出现6次 a{2,6}--a出现2-6次 a{2，}--a出现2次以上。

2024-05-13 20:17:53 845

原创 Scrapy爬虫基础讲解及案例

item数据对象：本质是一个字典。response.xpath方法的返回结果是一个类似list的类型，其中包含的是selector对象，操作和列表一样，但是有一些额外的方法。允许爬的域名：为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url地址，如果爬取的url地址与允许的域名不同，则被过滤掉。下载器发送请求，获取response响应---->下载中间件---->引擎--->爬虫中间件--->爬虫。爬虫提取url地址，组装成request对象---->爬虫中间件--->引擎--->调度器，重复步骤2。

2024-05-10 19:39:09 1957

原创 Python关于eval函数+实战案例

如果你想要在没有污染当前全局命名空间的情况下执行eval()，或者想要模拟一个特定的环境，可以自定义globalsprint(result) # 输出: 27这里，eval()使用的x和addition函数都是从字典中获取的。print(result) # 输出: 15尽管全局命名空间中有x_global变量，但eval()使用了中定义的x，因为局部命名空间优先。通过这种方式，你可以精确控制eval()函数执行时的上下文，增强了灵活性和安全性。但再次提醒，使用eval()

2024-05-10 18:43:12 740 3

stitches_fly的博客