Scrapy学习日记2

最新推荐文章于 2021-09-23 17:53:45 发布
最新推荐文章于 2021-09-23 17:53:45 发布
阅读量467 收藏
点赞数
分类专栏： Python开发 文章标签： selenium chromedriver scrapy scrapyd twisted
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ssw_1990/article/details/79457391
版权

1.用户代理
解析：User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

2.AttributeError: module ‘enum’ has no attribute 'IntFlag’
解析：pip uninstall enum34。

3.selenium
解析：Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。

4.<img>标签的alt属性
解析：如果无法显示图像，浏览器将显示替代文本。

5.cgi-bin
解析：CGI-BIN是一种特殊的目录，在进行交互式的WWW访问时，需要服务器上有相应的程序对访问者输入的信息进行处理，这些程序就是CGI程序。

6.cookie属性
解析：cookie常用属性，如下所示：
[1]value
[2]domain
[3]path
[4]expires
[5]secure
[6]HttpOnly

7.Selenium支持的操作系统，浏览器和编程语言
解析：
[1]编程语言：C#，Java，Python，PHP，Ruby，Perl和JavaScript
[2]操作系统：Android，iOS，Windows，Linux，Mac，Solaris。
[3]浏览器：谷歌浏览器，MozillaFirefox，InternetExplorer，Edge，Opera，Safari等。
说明：Selenium Remote Control(RC)与WebDriver API一起被称为Selenium 2.0。

8.Selenium工具套件
解析：Selenium组成部分，如下所示：
在这里插入图片描述
[1]Selenium集成开发环境[IDE]
[2]Selenium远程控制器[现已弃用]
[3]webdriver：SeleniumWebDriver提供了一个编程接口来创建和执行测试用例。编写测试脚本是为了识别网页上的Web元素，然后对这些元素执行所需的操作。
[4]SeleniumGrid
说明：SeleniumIDE仅作为MozillaFirefox和Chrome插件提供，它无法在Firefox和Chrome以外的浏览器上记录测试用例。记录的测试脚本也可以导出到C#，Java，Ruby或Python等编程语言。

9.Selenium组件和测试自动化工具的一些组件关系
解析：
在这里插入图片描述

10.Selenium WebDriver架构
解析：Selenium WebDriver API提供编程语言和浏览器之间的通信工具。如下所示：
在这里插入图片描述
[1]Selenium语言绑定
[2]JSON有线协议
[3]浏览器驱动
[4]真正的浏览器：Selenium WebDriver支持的浏览器InternetExplorer，MozillaFirefox，GoogleChrome，Safari。

11.scrapy genspider命令
解析：用来创建爬虫模板的。如下所示：
[1]scrapy genspider -t crawl taobao2 taobao.com[crawl类型爬虫]
[2]scrapy genspider TaoBaoSpider taobao.com

12.PhantomJS
解析：PhantomJS是一个基于WebKit内核、无UI界面的浏览器，WebKit是一个开源的浏览器引擎。比如，主流的Safari，Google Chrome，傲游3，猎豹浏览器，百度浏览器，opera浏览器基于Webkit开发。PhantomJS会把网站数据加载到内存中，并执行页面上的JavaScript，但不会向用户展示图形界面。

13.Headless Chrome
解析：Headless模式在Windows中是Chrome59中的新特征，要使用Chrome需要安装chromedriver。

14.无头浏览器
解析：日常使用浏览器的步骤为：启动浏览器、打开一个网页、进行交互，而无头浏览器指的是使用脚本来执行以上过程的浏览器，能模拟真实的浏览器使用场景。

15.无头浏览器功能
解析：
[1]对网页进行截图保存为图片或pdf
[2]抓取单页应用[SPA]执行并渲染[解决传统HTTP爬虫抓取单页应用难以处理异步请求的问题]
[3]做表单的自动提交、UI的自动化测试、模拟键盘输入等
[4]用浏览器自带的一些调试工具和性能分析工具帮助分析问题
[5]在最新的无头浏览器环境里做测试、使用最新浏览器特性
[6]写爬虫做你想做的事情
说明：无头浏览器很多，包括但不限于：PhantomJS[基于Webkit]，SlimerJS[基于Gecko]，HtmlUnit[基于Rhnio]，TrifleJS[基于Trident]，Splash[基于Webkit]。

16.DEBUG: Crawled (404) <GET http://…/robots.txt> (referer: None)
解析：在settings.py中设置ROBOTSTXT_OBEY = False即可。

17.Splash
解析：Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，同样可以实现动态渲染页面的抓取。
[1]异步方式处理多个网页渲染过程
[2]获取渲染后的页面的源代码或截图
[3]通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度
[4]可执行特定的JavaScript脚本
[5]可通过Lua脚本来控制页面渲染过程
[6]获取渲染的详细过程并通过HAR[HTTP Archive]格式呈现

18.通过PyCharm调试Scrapy
解析：设置Script Path为D:\Anaconda3\Lib\site-packages\scrapy\cmdline.py即可。

19.Charles
解析：Charles是一款代理服务器，通过过将自己设置成系统[电脑或者浏览器]的网络访问代理服务器，然后截取请求和请求结果达到分析抓包的目的。如下所示：
[1]截取Http和Https网络封包。
[2]支持重发网络请求，方便后端调试。
[3]支持修改网络请求参数。
[4]支持网络请求的截获并动态修改。
[5]支持模拟慢速网络。

20.scrapy-redis
解析：scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。

21.CONCURRENT_REQUESTS
解析：Scrapy downloader并发请求[concurrent requests]的最大值，默认为16。

22.DOWNLOAD_DELAY
解析：下载器在下载同一个网站下一个页面前需要等待的时间。该选项可以用来限制爬取速度，减轻服务器压力。同时也支持小数。默认值为0。

23.cookie和session应用场景
解析：
[1]cookie应用场景

  • 判断用户是否登陆过网站
  • 保存上次登录的时间等信息
  • 保存上次查看的页面
  • 浏览计数

[2]session应用场景

  • 网上商城中的购物车
  • 保存用户登录信息
  • 将某些数据放入session中，供同一用户的不同页面使用
  • 防止用户非法登录

24.浏览器数据库IndexedDB
解析：IndexedDB就是浏览器提供的本地数据库，它可以被网页脚本创建和操作。如下所示：
[1]数据库：IDBDatabase对象
[2]对象仓库：IDBObjectStore对象
[3]索引：IDBIndex对象
[4]事务：IDBTransaction对象
[5]操作请求：IDBRequest对象
[6]指针：IDBCursor对象
[7]主键集合：IDBKeyRange对象

25.Twisted
解析：twisted是一个用python语言写的事件驱动的网络框架，它支持很多种协议，包括UDP，TCP，TLS和其他应用层协议，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。

参考文献：
[1]Selenium：https://www.seleniumhq.org/
[2]Selenium教程：https://www.yiibai.com/selenium
[3]chromedriver与chrome版本映射表：http://chromedriver.storage.googleapis.com/index.html
[4]chromedriver与chrome版本映射表：http://npm.taobao.org/mirrors/chromedriver/
[5]Scrapy：https://scrapy.org/
[6]Scrapyd：https://scrapyd.readthedocs.io/en/stable/
[7]爬虫教程：https://piaosanlang.gitbooks.io/spiders/content/
[8]Getting Started with Headless Chrome：https://developers.google.com/web/updates/2017/04/headless-chrome
[9]Chrome DevTools Protocol：https://chromedevtools.github.io/devtools-protocol/
[10]GoogleChrome/puppeteer[Headless Chrome Node API]：[https://github.com/GoogleChrome/puppeteer][https://pptr.dev/]
[11]Scrapy Plugins[Plugins for the Scrapy framework]：https://github.com/scrapy-plugins
[12]Splash[A javascript rendering service]：https://splash.readthedocs.io/en/stable/
[13]scrapy-splash教程：https://splash-cn-doc.readthedocs.io/zh_CN/latest/scrapy-splash-toturial.html
[14]Charles：https://www.charlesproxy.com
[15]Redis命令：http://www.redis.cn/commands.html
[16]microsoftarchive/redis：https://github.com/microsoftarchive/redis/releases
[17]Redis教程：https://www.runoob.com/redis/redis-tutorial.html
[18]Scrapy-Redis’s documentation：https://scrapy-redis.readthedocs.io/en/v0.6.x/#
[19]Scrapy 0.24文档：https://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html
[20]自动限速[AutoThrottle]扩展：https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/autothrottle.html
[21]浏览器数据库IndexedDB入门教程：http://www.ruanyifeng.com/blog/2018/07/indexeddb.html
[22]What is Twisted：https://twistedmatrix.com/trac/

NLP工程化
关注
专栏目录
爬虫日记(17)：scrapy的Item对象
大坡3D软件开发
03-19 381
我们知道为什么要写爬虫，因为网上有很多有用的信息，但是这些信息是非结构化的，散乱地分布的，数据非常巨大的。可以把这些数据当作原油，正等待我们去开采，在开采之后还需要进行一番炼油，才能把石油应用到各行各业。同理，网上这么有用的数据，需要进行各种样的处理，才可以应用到我们实际工作和生活中去。 在数据抽取的过程中，我们发现原来网络上的数据是非结构化的。可见第一个处理就是把数据进行结构化的表示，才可以进行下一步处理。所谓结构化，是指将逐渐积累起来的知识加以归纳和整理，使之条理化、纲领化，做到纲举目张。知识是.
爬虫日记(29)：随机更换scrapy的代理IP地址
大坡3D软件开发
03-29 1万+
前面学习了怎么样验证代理IP地址的有效性，这样就可以通过代理池的数据库来进行筛选出有效的IP地址出来。接着就可以利用这些代理IP地址进行随机更换，达到模拟不同人员访问同一个网站的目的。那么我们怎么样才能随机地更换scrapy的代理IP地址呢？基于前面的面向对象的设计思路，我们一般不要去修改原来爬虫项目的代码，采用插入中间件的方式是最佳的方法。因此，我们添加一个随机中间件来达到这个目的，这个中间件与前面学习过随机更换UA是差不多。 我们先来创建一个测试的工程，使用下面的命令： scrapy star.
爬虫中遇到的问题Crawled (404)，[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to
xiaobai_IT_learn的博客
09-19 4098
1.错误1：start_url不存在 Crawled (200) <GET http://www.itcast.cn/robots.txt> (referer: None) DEBUG: Crawled (404) <GET http://www.itcast.cn/channel/teacher.shtml/> (referer: None) 解决：复制url的完全地址 ...
爬虫出现Forbidden by robots.txt
热门推荐
菜鸡瞎讲
06-10 3万+
先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防止爬虫来抓取页面，于是在spider中填入各种header信息，伪装成浏览器，结果还是不行。。。用
爬虫练习_使用scrapy爬取淘宝
测试游记
04-06 659
使用爬虫框架scrapy爬取淘宝一.创建项目1.安装scrapypip install scrapy2.选择一个目录开启一个scrapy项目scrapy startpro...
爬虫
一直奔跑的马
09-23 1805
爬虫 爬虫原理与数据抓取 通用爬虫和聚焦爬虫 背景 现在是"大数据时代"，那数据从何而来？ 企业产生的用户数据：百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数 数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所 政府/机构公开的数据：中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克。 数据管理咨询公司：麦肯锡、埃森哲、艾瑞咨询 爬取网络数据：如果需要的数据市场上没有，那么就可以去爬取。 什么是网络爬虫 网络爬虫，又称为网页蜘蛛、网络机器人，是一种按照一定的
Scrapy学习日记1
NLP工程化
04-30 2237
提到Python与网络爬虫，可能会想到urllib，urllib2，BeautifulSoup，Scrapy等类库，本文主要总结Scrapy与网络爬虫。Scrapy是一个功能强大的网络爬虫类库，通过命令pip install scrapy进行安装，爬取的海量数据可以通过MongoDB进行存储，有了想要的数据集后就可以对其进行分析挖掘。 1. 实现一个简单的Scrapy网络爬虫 先用Scrapy...
Scrapy框架 - 学习日记2
livein80的博客
10-14 561
1.调试 1.1 loggin模块的使⽤ import scrapy import logging logger = logging.getLogger(__name__) class QbSpider(scrapy.Spider): name = 'qb' allowed_domains = ['qiushibaike.com'] start_urls = ['http://qiushibaike.com/'] def parse(self, response): for i in range(1
爬虫日记(28)：scrapy使用中间件调用浏览器
大坡3D软件开发
03-29 457
前面已经学习过怎么样使用Python + selenium + webdriver + chrome方案来抓取数据，现在来更进一步学习。因为scrapy一般情况下只适合抓取在服务器端静态生成的网页，而不适合在客户端动态生成的网页。为什么这样说呢，这个就要了解目前WEB开发的两种机制，一种叫做服务端渲染，一种叫做客户端渲染。 服务端渲染和客户端渲染本质都是字符串拼接； 服务端渲染：在客户端发起请求后，在服务端把数据查询的结果嵌套在html，然后把整个包发给客户端进行渲染，这当中只会有一次请求。 客.
爬虫日记(12)：scrapy提取数据的技巧
大坡3D软件开发
03-11 473
在爬虫的开发中，常常碰到不同的网站，从而每个网站的结构会不一样，每个网站使用的技术也不一样，千差万别的，没有统一的模式，因此开发爬虫没有一个虫就可以爬遍天下。面对这样的情况，当然就是需要开发爬虫的技术人员了，也可以这样说，要想数据有多少，就得有多少人工。因为爬虫总会随着网站技术变更，需要不断更换爬虫的方法，其实除了登录验证这个环节之外，就是剩下了数据的提取工作量了。比如网站更换了标签的名称，导致提取数据失败，这时就需要立即更换提取方法。所以掌握提取数据的技术就成为爬虫开发人员的基础知识了，也是最常使用的技术
非常简单的scrapy代码但就是不清楚到底哪里出问题了，高手帮忙看看吧！
Casserlin555的博客
03-22 1490
代码结构很简单，校对过，是根据这篇实践文章模仿的 https://mp.weixin.qq.com/s/t3xM0-YxKNwGI5A3EI26ew，是一名小白，求大神指教，万分感谢，在线等待 2019-03-22 13:45:05 [scrapy.utils.log] INFO: Versions: lxml 4.3.2.0, libxml2 2.9.5, cssselect 1.0.3, pa...
python Scrapy创建和使用，运行Scrapy代码，怎么用Scrapy框架获取数据，Scrapy的xpath使用教程。
贼厉害
03-24 622
安装Scrapy，打开cmd 输入 pip install scrapy即可 创建项目 scrapy startproject tencent 创建爬虫 scrapy genspider hr tencent.com items.py讲解 # Define here the models for your scraped items # # See documentation in: # https://docs.scrapy.org/en/latest/topics/items.html impo
Python爬虫——Scrapy框架的基本使用
qiao39gs的博客
06-12 643
Scrapy基本用法 1.选取目标站点 目标站点分析 http://quotes.toscrape.com/:scrapy官方提供的抓取网站 显示名人名言，作者，标签等信息 翻页为最简单的GET请求，通过改变URL的名称进行翻页 网页结构简单，没有任何的反爬虫措施 2.流程框架 抓取第一页 请求第一页的URL并得到源代码，进行下一步的分析 获取内容和下一页链接 分析源代码，提...
scrapy入门的一个例子
csuoo的博客
10-28 420
scrapy入门的一个例子 最近在尝试进行数据分析, 首先从数据挖掘开始, 无可避免地找到了scrapy. 安装以及最基础的教程Scrapy入门教程目标 爬取豆瓣动画tag下的所有标题图. 项目环境 python 2.7 windows 具体首先打开豆瓣动画tag的页面, 分析一下urlhttps://movie.douban.com/tag/%E5%8A%A8%E7%94%BB?start=0
Python与医疗图像2
NLP工程化
07-22 1万+
1. 医学影像学 解析： [1]医学影像学Medical Imaging，是研究借助于某种介质[如X射线、电磁场、超声波等]与人体相互作用，把人体内部组织器官结构、密度以影像方式表现出来，供诊断医师根据影像提供的信息进行判断，从而对人体健康状况进行评价的一门科学，包括医学成像系统和医学图像处理两方面相对独立的研究方向。 [2]仪器主要包括X光成像仪器、CT[普通CT、螺旋CT]、正子扫描[P...
Python与医疗图像1
NLP工程化
07-12 9833
1. PyMVPA 解析：PyMVPA [Python MultiVariate Pattern Analysis]是一个用来简化大型数据集的模式分类分析的Python模块。提供一些高级的抽象的常用的处理步骤和一些常用算法的实现，而且它不仅仅局限于神经影像学领域。Windows下安装方式为pip install pymvpa-0.4.8-cp27-none-win_amd64.whl。 ...
Cython学习日记2
NLP工程化
08-16 5312
1.cythonize() 解析：将Python代码转成C代码的API。 2.Cython和TypeError: 'set' object does not support indexing 解析：conda install cython 3.cython例子 解析： [1]pyx文件 # -*- coding: utf-8 -*- cdef extern from "...
如何学习scrapy
最新发布
04-12
学习Scrapy是学习Python网络爬虫的一个很好的选择。下面是学习Scrapy的一些建议： 1. 学习Python基础知识：在开始学习Scrapy之前，建议先掌握Python的基础知识，包括语法、数据类型、函数、模块等。 2. 了解Web爬虫的基本原理：学习Scrapy之前，了解Web爬虫的基本原理是很重要的。了解HTTP协议、HTML解析、数据提取等相关知识。 3. 安装Scrapy：在学习Scrapy之前，需要先安装Scrapy框架。可以使用pip命令进行安装，例如：pip install scrapy。 4. 学习Scrapy的基本概念：Scrapy有一些基本概念，如Spider（爬虫）、Item（数据项）、Pipeline（管道）等。学习这些概念是理解和使用Scrapy的基础。 5. 编写第一个Scrapy爬虫：通过编写一个简单的Scrapy爬虫来实践所学的知识。可以选择一个简单的网站进行爬取，并提取所需的数据。 6. 学习Scrapy的高级功能：一旦掌握了Scrapy的基本用法，可以进一步学习Scrapy的高级功能，如中间件、分布式爬取、登录认证等。 7. 阅读Scrapy文档和示例：Scrapy官方文档是学习Scrapy的重要资源，可以详细了解Scrapy的各个组件和用法。此外，还可以阅读一些Scrapy的示例代码，加深对Scrapy的理解。 8. 实践和项目应用：通过实践和项目应用来巩固所学的知识。可以选择一些感兴趣的网站进行爬取，并将爬取到的数据进行处理和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NLP工程化

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值