Scrapy学习1
一、创建项目
cmd中代码
scrapy startproject xxxxSpider(项目名)
二、创建爬虫
#切换目录
cd xxxxSpider
#创建爬虫
scrapy genspider xxxx(爬虫名) xxxx.com(网站域名)
注意:项目名和爬虫名不同
1、配置settings.py
#不遵守君子协议
#Obey robots.txt rules
ROBOTSTXT_OBEY = False
2、解释spiders/xxxx.py
# -*- coding: utf-8 -*-
import scrapy
#创建爬虫类 并继承自scrapy.Spider -->最基础的类
class XicidailiSpider(scrapy.Spider):
name = 'xicidaili'
allowed_domains = ['xicidaili.com']
start_urls = ['http://xicidaili.com/']
#解析响应数据 提取数据或网址 response是网页源码
def parse(self, response):
pass
三、分析网站
提取数据
正则表达式
XPath
CSS
response.xpath('//tr')。get()
get()得到一个元素
getall()得到多个元素
四、运行爬虫
scrapy crawl xxxx