![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
养猪场小妹
一定要努力成为一颗会发光的星星!!!
展开
-
scrapy 手记
重定向问题:使用scrapy抓取内容的时候如果页面中有下面重定向的代码,scrapy就会去另一个页面,如下代码第一种:重定向方法是在返回头里添加301重定向,如下php代码//设置地址被永久的重定向 301 header('HTTP/1.1 301 Moved Permanently'); header('location:www.xxx.com');禁止这种重定向的方法是在项目设置文件(sett...转载 2018-05-05 17:15:31 · 157 阅读 · 0 评论 -
scrapy 爬取图片
因为需要用到scrapy图片爬取的中间键,故应先安装PIL:pip install pillowsettings.py:ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} IMAGES_URLS_FIELD = 'url' #为items中存储图片链接的字段 IMAGES_STORE = r'.' #为存储图片路径item...原创 2018-05-06 11:52:25 · 189 阅读 · 0 评论 -
scrapy 爬取写入MongoDB
建立MongoDB服务: 打开MongoDB的下载路径,进入bin文件夹下:mongod -dbpath F:\mongod\data\db 另启一个命令行窗口(当前窗口不要关闭),进入bin文件夹下:mongo法一: 爬虫文件:#import modules import bs4 import scrapy import pymongo from bs4 import Bea...原创 2018-05-06 13:04:54 · 358 阅读 · 0 评论 -
scrapy代理
1. python中telnetlib模块的使用别人的教程:翱翔123 猴哥Yuri转载 2018-05-07 22:53:37 · 231 阅读 · 0 评论