初玩scrapy：爬取淘票票(1)

最新推荐文章于 2024-09-23 16:24:27 发布

_仰泳的鱼

最新推荐文章于 2024-09-23 16:24:27 发布

阅读量2.1k

点赞数

文章标签： python3 scrapy taopiaopiao

本文链接：https://blog.csdn.net/qq_32419007/article/details/79632128

版权

本文介绍如何使用Python3的Scrapy框架来爬取淘票票网站上的正在热映和即将上映的电影数据。首先通过`scrapy startproject taopiaopiao`创建Scrapy项目，接着在`spiders`目录下创建`taopiaopiao_spider.py`爬虫模块，最后运行`scrapy crawl taopiaopiao`启动爬虫获取数据。

摘要由CSDN通过智能技术生成

爬取淘票票上正在热映和即将上映的电影

创建淘票票项目

scrapy startproject taopiaopiao

会在当前目录下创建一个taopiaopiao的目录

taopiaopiao

|--scrapy.cfg 项目部署文件

|--taopiaopiao 对应的python模块

|-- __init__.py

|-- items.py

|-- middlewares.py

|-- pipelines.py

|-- settings.py

|-- spiders

|-- __init__.py

创建爬虫模块

在taopiaopiao/spiders目录下添加一个taopiaopiao_spider.py文件

代码

#coding:utf-8
import scrapy
class taoPiaoPiaoSpider(scrapy.Spider):
    #爬虫名称
    name = "taopiaopiao"
    start_urls = [
        "https://www.taopiaopiao.com/showList.htm?n_s=new"
    ]

    def parse(self, response):
        #实现网页的解析
        movics = response.xpath("//div[@class='movie-card-wrap']")
        for movic in movics: