人生苦短，用Python爬取迅雷电影天堂最新电影ed2k

最新推荐文章于 2024-07-20 03:47:16 发布

Python方正

最新推荐文章于 2024-07-20 03:47:16 发布

阅读量3.5k

点赞数

文章标签： Python Python爬虫数据挖掘 Python3 编程语言

本文链接：https://blog.csdn.net/weixin_45716111/article/details/102819626

版权

本文介绍了如何使用Python Scrapy框架爬取迅雷电影天堂的最新电影信息，包括电影名称、电影信息、剧情内容和下载地址。首先创建Scrapy项目和spider文件，接着分析目标网站数据，编写items.py和settings.py文件。然后通过main.py测试请求并编写爬虫文件xunleiBT.py，最后利用pipelines.py将数据入库保存。

摘要由CSDN通过智能技术生成

第一步仍然是创建scrapy项目与spider文件

切换到工作目录两条命令依次输入

scrapy startproject xunleidianying
scrapy genspider xunleiBT https://www.xl720.com/thunder/years/2019

内容分析

打开目标网站（分类是2019年上映的电影），分析我们需要的数据!

进入页面是列表的形式就像豆瓣电影一样，然后我们点进去具体页面看看

这个页面就是我们需要拿到的内容页面，我们来看我们需要哪些数据(某些数据从第一个页面就可以获得，但是下载地址必须到第二个页面)

电影名称
电影信息
电影内容剧情
电影下载地址

分析完成之后就可以首先编写 items.py文件

在学习过程中有什么不懂得可以加我的
python学习交流扣扣qun，784758214
群里有不错的学习视频教程、开发工具与电子书籍。
与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容

import scrapy
class XunleidianyingItem(scrapy.Item):
    # define the fields for your