第一步需要下载配置scrapy
在这个页面调用命令行工具
pip install scrapy -i https://pypi.douban.com/simple
我这边就直接镜像到国内的了,如果你有魔法可以通过外国服务器下载。
安装好后可以按住win+r,输入cmd打开命令行窗口检测一下
如果你像我这样说明你就安装好了---
然后找到你的项目文件:
scrapy startproject 项目名称
然后cd到文件内部(会有提示的)
scrapy genspider 爬虫名称 要爬取的限制域
这些都搞完了你就会获取一个完成的项目文件
我这边配置好demo了
除了函数内部的文件都是自动生成的,简单爬取一下内容就可以了
import scrapy
class DemoSpider(scrapy.Spider):
name = "demo"
allowed_domains = ["xxxx.com"]
start_urls = ["http://xxxxxx.com"]
def parse(self, response):
content = response.text
with open('eee.html', 'w', encoding='utf-8') as fp:
fp.write(content)
# # pass
后续还会更新,我也是一个python初学者,一起学习吧~加油哦~