![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
文章平均质量分 80
彭世瑜
记录我的工作学习笔记
展开
-
Python爬虫:scrapy从项目创建到部署可视化定时任务运行
前面1-3小节就是基本功能实现,完成了scrapy项目的创建和运行功能,能够爬取网络数据了,需要具备一定的Python基础和页面解析的能力中间的4-6小节是部署工作的内容,主要是实现定时任务,自动运行爬虫,可视化查看爬虫运行状态最后的7-9小节是部署优化工作的内容,基本上每个Python web应用甚至其他编程语言实现的Web应用都通用。原创 2022-11-19 17:39:41 · 3858 阅读 · 2 评论 -
数据清洗:使用htmlmin清除html中的空格
安装pip install htmlmin代码实例# -*- coding: utf-8 -*-from htmlmin import minifytext = """<html> <head> <title>这是标题 </title> </head> <body> ...原创 2020-04-03 17:22:34 · 1295 阅读 · 0 评论 -
数据清洗:利用lxml移除html中的元素
有一段html文本<html> <head> <title>这是标题</title> </head> <body> <div>这是内容</div> <div>要移除的内容</div> </bo...原创 2020-04-03 17:13:43 · 2049 阅读 · 0 评论 -
error: scrapy TypeError: 'float' object is not iterable
正常运行爬虫,在公司电脑上没问题,回到家自己电脑上就出现了下面的报错,百思不得解Traceback (most recent call last): File "D:\.virtualenvs\spider\lib\site-packages\twisted\internet\defer.py", line 1384, in _inlineCallbacks result = re...原创 2018-08-26 11:27:25 · 3302 阅读 · 0 评论 -
Python爬虫:scrapy-splash的请求头和代理参数设置
lua中设置代理和请求头:function main(splash, args) -- 设置代理 splash:on_request(function(request) request:set_proxy{ host = &amp;amp;quot;27.0.0.1&amp;amp;quot;, port = 8000, ...原创 2018-08-28 17:13:17 · 10224 阅读 · 13 评论 -
Python爬虫:python2使用scrapy输出unicode乱码
无力吐槽的python2,对中文太不友好了,不过在早期项目中还是需要用到没办法,还是需要解决我编写scrapy爬虫的一般思路:创建spider文件和类编写parse解析函数,抓取测试,将有用信息输出到控制台在数据库中创建数据表编写item编写model编写pipline运行爬虫项目,测试保存的数据正确性在第2步抓取测试的时候,我并没有创建数据库(因为我感觉在数据库中...原创 2018-08-24 15:54:47 · 2277 阅读 · 0 评论 -
XPathHelper使用
使用步骤:1)用chrome打开一个网页2)按Ctrl-Shift键-X以打开XPath辅助控制台。3)按住Shift键鼠标在页面上的元素。查询框会不断更新,以显示鼠标指针下面的元素充分XPath查询。结果框其右侧将显示评价结果的查询。4)如果需要的话,可以直接在控制台编辑XPath查询。在结果框中将立即反映任何变化。5)再次按Ctrl-Shift键-X关闭控制台参考XPath H...原创 2018-09-18 17:29:17 · 3812 阅读 · 1 评论 -
Python爬虫:scrapy辅助功能实用函数
scrapy辅助功能实用函数:get_response: 获得scrapy.HtmlResponse对象, 在不新建scrapy项目工程的情况下,使用scrapy的一些函数做测试extract_links: 解析出所有符合条件的链接代码示例以拉勾首页为例,获取拉勾首页所有职位链接,进一步可以单独解析这些链接,获取职位的详情信息import requestsfrom scra...原创 2018-09-29 16:09:05 · 1996 阅读 · 0 评论 -
Python爬虫:Scrapy的Crawler对象及扩展Extensions和信号Signals
先了解Scrapy中的Crawler对象体系Crawler对象settings crawler的配置管理器set(name, value, priority=‘project’)setdict(values, priority=‘project’)setmodule(module, priority=‘project’)get(name, default=None)getbo...原创 2018-11-13 10:33:00 · 2664 阅读 · 0 评论 -
Python爬虫:Scrapy调试运行单个爬虫
一般运行Scrapy项目的爬虫是在命令行输入指令运行的:$ scrapy crawl spider每次都输入还是比较麻烦的,偶尔还会敲错,毕竟能少动就少动Scrapy提供了一个命令行工具,可以在单个spider文件中加入以下代码:from scrapy import Spider, cmdlineclass SpiderName(Spider): name = "spide...原创 2018-11-08 10:59:20 · 1943 阅读 · 0 评论 -
Python爬虫:Scrapy的get请求和post请求
scrapy 请求继承体系Request |-- FormRequestget请求from scrapy import Spider, Request, cmdlineclass SpiderRequest(Spider): name = &quot;spider_request&quot; def start_requests(self): url = &quot;http...原创 2018-11-08 12:09:19 · 11019 阅读 · 0 评论 -
Python爬虫:Scrapy中间件Middleware和Pipeline
Scrapy提供了可自定义2种中间件,1个数据处理器名称作用用户设置数据收集器(Item-Pipeline)处理item覆盖下载中间件(Downloader-Middleware)处理request/response合并爬虫中间件(Spider-Middleware)处理item/response/request合并解释:用户设置:是指cu...原创 2018-11-12 18:02:16 · 2989 阅读 · 0 评论 -
Python爬虫:Scrapy与__file__引发的异常
报错问题项目代码中使用了__file__, 项目部署之后,想部署单个爬虫,读取spider-list出错查看 https://pypi.org/project/scrapyd-client/#id5作者说,要尽量避免使用__file__删除之后确实正常了。。。...原创 2018-11-14 19:02:36 · 1185 阅读 · 0 评论 -
Scrapyd API 中文翻译版本
原文地址:https://scrapyd.readthedocs.io/en/stable/api.html以下是 Scrapyd 提供的 JSON API.实现了对Scrapy 项目管理# 服务器查询daemonstatus.json 服务器状态# 项目操作addversion.json 添加项目版本(一个项目下可以有多个版本)listprojects.json 项目列表l...原创 2018-11-16 12:41:26 · 2133 阅读 · 0 评论 -
Python爬虫:Scrapy中runspider和crawl的区别
Scrapy中runspider和crawl都可以运行爬虫程序区别:命令说明是否需要项目示例runspider未创建项目的情况下,运行一个编写在Python文件中的spiderno$ scrapy runspider myspider.pycrawl使用spider进行爬取yes$ scrapy crawl myspider参考scrapy ...原创 2019-03-14 11:15:58 · 6340 阅读 · 0 评论 -
Scrapy使用MailSender发送邮件
1、配置邮箱账号 163为例settings.py# 邮箱配置MAIL_HOST = "smtp.163.com"MAIL_FROM = "xxx@163.com"MAIL_USER = "xxx@163.com"MAIL_PASS = "xxx" # 授权码MAIL_PORT = 252、发送邮件的代码# -*- coding: utf-8 -*-import scr...原创 2019-10-08 17:59:25 · 2931 阅读 · 0 评论 -
Python爬虫:scrapy定时运行的脚本
原理:1个进程 -> 多个子进程 -> scrapy进程代码示例将以下代码文件放入scrapy项目中任意位置即可# -*- coding: utf-8 -*-# @File : run_spider.py# @Date : 2018-08-06# @Author : Peng Shiyufrom multiprocessing import...原创 2018-08-08 20:02:01 · 4696 阅读 · 0 评论 -
Python爬虫:scrapy爬虫设置随机访问时间间隔
scrapy中有一个参数:DOWNLOAD_DELAY 或者 download_delay 可以设置下载延时,不过Spider类被初始化的时候就固定了,爬虫运行过程中没发改变,随机延时,可以降低被封ip的风险代码示例random_delay_middleware.py# -*- coding:utf-8 -*-import loggingimport randomimpor...原创 2018-08-08 17:50:40 · 25630 阅读 · 2 评论 -
Python爬虫:scrapy利用splash爬取动态网页
依赖库:pip install scrapy-splash配置settings.py# splash服务器地址SPLASH_URL = 'http://localhost:8050'# 支持cache_args(可选)SPIDER_MIDDLEWARES = { 'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,...原创 2018-08-13 10:44:46 · 4096 阅读 · 0 评论 -
scrapy学习
scrapy学习笔记参考 中文文档:http://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html初步使用高级特性:1.内置的数据抽取器css/xpath/re 2.(scrapy shell)交互式控制台用于调试数据抽取方法 3.内置对结果输出的的支持,可以保存为JSON,CSV,XML等 4.自动处理编码 5.支持...原创 2018-03-28 21:36:24 · 2401 阅读 · 0 评论 -
Python网络爬虫之scrapy框架
Python网络爬虫与信息提取 - 嵩天官网:https://scrapy.org/安装:pip install scrapy检测:scrapy -hscrapy爬虫框架结构爬虫框架 - 爬虫框架 是实现爬虫功能的一个软件结构和功能组件集合 - 爬虫框架 是一个半成品,能够帮助用户实现专业网络爬虫5+2结构 - Scheduler ...原创 2018-03-28 23:38:45 · 5702 阅读 · 0 评论 -
Python爬虫:scrapy爬取腾讯社招职位信息
爬取腾讯社招职位信息地址 https://hr.tencent.com/position.php三个文件代码如下: spdier.py# -*- coding: utf-8 -*-# author : pengshiyu# date : 2-18-4-19import scrapyfrom scrapy.selector import Selectorfrom ten...原创 2018-04-22 18:06:42 · 1560 阅读 · 0 评论 -
Python爬虫:scrapy爬取斗鱼直播图片
通过斗鱼给出的api,获取json文件,解析出图片地址,可以获取直播间的图片 斗鱼api接口:http://open.douyucdn.cn/api/RoomApi/live/{num}比如: http://open.douyucdn.cn/api/RoomApi/live/1当然也可以用这个获取好多妹子的图片,当然也有小哥哥 http://capi.douyucdn.cn/a...原创 2018-04-22 18:13:43 · 2265 阅读 · 0 评论 -
python爬虫:scrapy命令失效,直接运行爬虫
scrapy命令失效,直接运行爬虫,无论是什么命令,都直接运行单个爬虫 出现这个错误,很意外原因是这样的: 一开始,我写了个脚本单独配置爬虫启动项:# begin.pyfrom scrapy import cmdlinecmdline.execute("scrapy crawl myspider")这样一来会比较方便,不用每次都去命令行敲命令然而 当我想运行其他爬虫的时...原创 2018-04-23 10:53:50 · 3779 阅读 · 1 评论 -
python爬虫:scrapy爬取传智播客教师信息
推荐一个Chrome浏览器的xpath解析工具: xPath helper 轻松获取HTML元素的xPath 打开/关闭控制台:Ctrl-Shift键-X 参考:介绍一款chrome爬虫网页解析工具-XPath Helperscrapy基本介绍# 创建工程 scrapy startproject myspider# 创建爬虫 scrapy genspider itcas...原创 2018-04-19 00:15:44 · 2261 阅读 · 2 评论 -
python爬虫:scrapy-redis实现分布式爬虫
环境搭建需要安装 scrapy 和 scrapy-redis安装配置好 redis 如果是mac种用homebrew安装的redis,配置文件路径为:/usr/local/etc/redis.conf第一步,配置settings.py# 指定Redis数据库REDIS_URL = &amp;quot;redis://localhost:6379&amp;quot;# 使用scrapy-redis 的...原创 2018-05-21 15:40:15 · 1772 阅读 · 0 评论 -
python爬虫:scrapy可视化管理工具spiderkeeper部署
需要安装的库比较多,可以按照步骤,参看上图理解环境准备scrapy: https://github.com/scrapy/scrapy scrapyd: https://github.com/scrapy/scrapyd scrapyd-client: https://github.com/scrapy/scrapyd-client SpiderKeeper: https:/...原创 2018-05-22 17:22:37 · 6624 阅读 · 7 评论 -
Python爬虫:关于scrapy模块的请求头
内容简介使用scrapy写爬虫的时候,会莫名其妙的被目标网站拒绝,很大部分是浏览器请求头的原因,现在一起来看看scrapy的请求头工具准备开发环境python2.7 + scrapy 1.1.2 测试请求头网站:https://httpbin.org/get?show_env=1 json在线解析:https://www.json.cn/浏览器请求头大全: http://w...原创 2018-06-22 16:56:02 · 21840 阅读 · 10 评论 -
Python爬虫:scrapy防止爬虫被禁的策略
爬虫策略:1、动态User-Agent(随机切换User-Agent,模拟不同用户的浏览器信息),使用中间件class RandomUserAgentMiddleware(object): def process_request(self, request, spider): request.headers.setdefault('User-Agent', &amp;quot;xxx...原创 2018-06-22 18:20:37 · 4471 阅读 · 0 评论 -
Python爬虫:scrapy查看Cookie值
#请求CookieCookie = response.request.headers.getlist('Cookie')#响应CookieCookie = response.headers.getlist('Set-Cookie') 参考: [Scrapy]模拟登陆并获取Cookie值原创 2018-07-12 17:03:04 · 6568 阅读 · 0 评论 -
Python爬虫:scrapy直接运行爬虫
一般教程中教大在命令行运行爬虫:# 方式一$ scrapy crawl spider_name这样,每次都要切换到命令行,虽然可以按向上键得到上次运行的指令,不过至少还要敲一次运行命令还有一种方式是单独配置一个文件,spider_name是具体爬虫名称,通过pycharm运行设置,不过每次都要改爬虫名称,而且不利于git提交# 方式二from scrapy import c...原创 2018-07-12 19:41:01 · 14468 阅读 · 0 评论 -
Python爬虫:scrapy管理服务器返回的cookie
1、使用cookie settings.py启用COOKIES_ENABLED=True # 启用cookieCOOKIES_DEBUG=True # 显示发送和接受的cookie2、使用自定义cookie 如果要使用登录验证的cookie,那么可以这样for url in self.start_urls: yield scrapy.Request(url, cook...原创 2018-07-24 15:01:04 · 3099 阅读 · 0 评论 -
Python爬虫:scrapy框架请求参数meta、headers、cookies一探究竟
对于scrapy请参数,会经常用到,不过没有深究今天我就来探索下scrapy请求时所携带的3个重要参数headers, cookies, meta原生参数首先新建myscrapy项目,新建my_spider爬虫通过访问:http://httpbin.org/get 来测试请求参数将爬虫运行起来# -*- coding: utf-8 -*-from scrapy impo...原创 2018-07-22 21:47:36 · 10638 阅读 · 1 评论 -
Python爬虫:scrapy中间件及一些参数
scrapy中间件from scrapy.settings import default_settings'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,'scrapy.do...原创 2018-07-22 22:39:25 · 1898 阅读 · 0 评论 -
Scrapy部署之Scrapyd和Scrapyd-API
一、环境安装安装scprayd,网址:https://github.com/scrapy/scrapydpip install scrapyd安装scrapyd-client,网址:https://github.com/scrapy/scrapyd-clientpip install scrapyd-client启动服务scrapyd环境测试: http://lo...原创 2018-04-07 16:13:35 · 4032 阅读 · 0 评论