头歌实训答案:Scrapy爬虫基础

我不是卡夫卡

已于 2024-02-07 08:51:35 修改

阅读量5.1k

点赞数 3

分类专栏：头歌实训文章标签：爬虫 python 数据挖掘

于 2022-06-20 01:37:19 首次发布

本文链接：https://blog.csdn.net/qq_53776431/article/details/125365101

版权

头歌实训专栏收录该内容

7 篇文章 7 订阅

订阅专栏

Scrapy爬虫基础

第1关：Scarpy安装与项目创建

pip install scrapy
cd /root
scrapy startproject HelloWorld
cd HelloWorld
scrapy genspider world www.baidu.com

第2关：Scrapy核心原理

# -*- coding: utf-8 -*-
import scrapy


class WorldSpider(scrapy.Spider):
    name = 'world'
    allowed_domains = ['www.baidu.com']
    start_urls = ['http://www.baidu.com/']

    def parse(self, response):
        # ********** Begin *********#
        # 将获取网页源码本地持久化
        filename = "./baidu.html"
        with open(filename,'wb') as f:
            f.write(response.body)
        # ********** End *********#