Scrapy学习1

Scrapy学习1

一、创建项目

cmd中代码
scrapy startproject xxxxSpider（项目名）

二、创建爬虫

#切换目录
cd xxxxSpider
#创建爬虫
scrapy genspider xxxx（爬虫名） xxxx.com（网站域名）
注意：项目名和爬虫名不同

1、配置settings.py

#不遵守君子协议
#Obey robots.txt rules
ROBOTSTXT_OBEY = False

2、解释spiders/xxxx.py

# -*- coding: utf-8 -*-
import scrapy

#创建爬虫类 并继承自scrapy.Spider -->最基础的类
class XicidailiSpider(scrapy.Spider):
    name = 'xicidaili'
    allowed_domains = ['xicidaili.com']
    start_urls = ['http://xicidaili.com/']

    #解析响应数据 提取数据或网址 response是网页源码
    def parse(self, response):
        pass

三、分析网站

提取数据
正则表达式
XPath
CSS

response.xpath('//tr')。get()

get(）得到一个元素
getall()得到多个元素

四、运行爬虫

scrapy crawl xxxx