pip安装配置清华镜像源scrapy框架，并进行框架的案例演示

鬼鬼骑士

已于 2023-05-15 09:07:54 修改

阅读量2.8k

点赞数 3

文章标签： pip python 开发语言

于 2023-05-09 11:22:48 首次发布

本文链接：https://blog.csdn.net/qq_39123467/article/details/130576324

版权

本文介绍了如何在Windows环境下通过CMD安装Scrapy框架，以及在PyCharm中创建和管理Scrapy项目。接着展示了一个简单的爬虫案例，从新浪网站抓取热点新闻并将其数据保存到Excel文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

运行cmd终端后直接输入

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy

在这里插入图片描述

注意，如提示pip 版本过低，应首先考虑更新pip版本，使用以下命令

python -m pip install --upgrade pip

安装成功

在这里插入图片描述

scrapy框架安装成功

使用scrapy命令测试，下面的命令代表已经安装，可以使用其他命令来操作

scrapy

在这里插入图片描述

为什么使用此命令

在这里插入图片描述

安装scrapy框架成功后创建scrapy项目

建议在pycharm终端创建项目

进入terminal

注意当前文件夹，如果不合适自己调整下

# 回到上一目录
cd ..
# 进入下一目录
cd 文件夹名

在这里插入图片描述

创建项目

scrapy startproject [项目名]
# 例如
scrapy startproject ITest

项目创建成功，并提示我们可以cd在终端进入项目

在这里插入图片描述

打开项目

在这里插入图片描述

成功

在这里插入图片描述

用scrapy框架实现案例——从新浪网爬取热点并把数据输入到excel表中

编辑setting.py文件

协议允许，为True即可

编码改为gpk国码，目的是在excel中正确读取数据，根据情况改变

在这里插入图片描述

创建脚本、写入脚本

在这里插入图片描述

from abc import ABC

import scrapy


class SinaspiderSpider(scrapy.Spider, ABC):
    name = 'sinaSpider'
    allowed_domains = ['www.sina.com.cn']
    start_urls = ['http://www.sina.com.cn/']

    def parse(self, response):
        data_list = []
        lis = response.xpath("//div[@class='top_newslist']/ul[@class='list-a news_top']")
        for li in lis:
            titles = li.xpath(".//a/text()")
            linkes = li.xpath(".//a/@href")
            for title,link in zip(titles,linkes):
                data_dict = {'标题':title.extract(),'链接':link.extract()}
                data_list.append(data_dict)

        return data_list