![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
小的时候可菜了
这个作者很懒,什么都没留下…
展开
-
Scrapy
Scrapy框架scrapy startproject nameitems 爬取目标middlewares 中间件pipelines 爬后处理settings 总体设置items ->spiders (middlewares)->pipelines all settings查看设置信息:scrapy settings --get BOT_NAME交互式:scr...原创 2019-12-05 20:47:38 · 244 阅读 · 0 评论 -
Spider
Spider 再次文件操作w:写入r:读取b:二进制a:追加open路径/或者\\ 一样的效果fh=open("D:/我的教学/Python/腾讯-韬云教育-Python爬虫/文本1.txt","r",encoding="utf-8")data=fh.read() #data就是文件的数据line=fh.readline() #一行fh.close()写入文件data=...原创 2019-12-05 20:45:59 · 565 阅读 · 0 评论 -
urllib库与requests库
同样是爬某网站的商品标题urlliburl="http://category.dangdang.com/pg1-cid4008154.html"import urllib.requestheaders={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chro...原创 2019-12-04 11:49:57 · 244 阅读 · 0 评论