python version 2.7
开发工具:eclipse+pydev
安装好Scrapy后需要将python安装目录下的Script配置到环境中
在cmd中进入workspace执行
scrapy startproject ptspider
生成了scrapy的配置文件
在spiders路径下新建文件命名为JDSpider.py
from scrapy.spider import BaseSpider
class JDSpider(BaseSpider):
name = "360buy.com"
allowed_domains = ["360buy.com"]
start_urls = ["http://www.360buy.com/?utm_source=media&utm_medium=cpc&utm_campaign=&utm_term=semmedia_1_15"]
def parse(self, response):
filename = response.url.split("/")[-2] + '.html'
print(response.body)
open(filename, 'wb').write(response.body)
在cmd中cd到ptspider路径下执行 scrapy crawl 360buy.com
抓到京东首页的文件www.360buy.com.html