![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
领带衬有黄金
领带衬有黄金,凡是独当一面
展开
-
scrapy爬虫框架记录语句
.extract()将xpath对象转换为Unicode字符串scrapy startproject XXX 新建一个scrapy爬虫文件scrapy crawl XXX 执行scrapy 项目爬虫scrapy genspider xxx "http://www.baidu.com/" 新建一个爬虫执行文件scrapy list 查询当前可以执行的爬虫文件清单 管道文件...原创 2018-08-09 15:35:39 · 346 阅读 · 0 评论 -
爬虫遇到防盗链问题,图片加载不出来现象
<meta name="referrer" content="never"> 将出现在具有防盗链的界面添加该语句,就会有效的避过防盗链。也可以添加referrer头,添加浏览器请求头,进行伪装。...原创 2018-08-07 18:37:27 · 1649 阅读 · 0 评论