scrapy笔记

1.scrapy是一个基于异步 + 多线程的方式运行爬虫的框架,内部的函数都是通过回调的方式执行的,不能手动调用.

2.创建srapy项目

3.scrapy项目构成

4.把数据写入json文件中命令

scrapy crawl baidu -o baidu.json -s FEED_EXPORT_ENCIDING = utf-8

5.把数据写入csv中命令

scrapy crawl baidu -o baidu.csv -s FEED_EXPORT_ENCIDING = utf-8

6.在cmd中爬虫项目进行调试

scrapy shell + start_url

7.python json.dumps与json.dump的区别

json.dumps(): 将dict转化为str

json.loads(): 将str转化为dict

json.dump(): 将dict转化为str后,存入文件中,与文件操作结合起来了