![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
__original__
心若静,风奈何!
展开
-
python爬虫selenium的介绍及用法
selenium是什么?支持通过各种driver(FirfoxDriver,IternetExplorerDriver,OperaDriver,ChromeDriver)驱动真实浏览器完成测试selenium也是支持无界面浏览器操作的。比如说HtmlUnit和PhantomJs。用selenium的目的模拟浏览器功能,自动执行网页中的js代码,实现动态加载安装seleniumpip ...原创 2019-06-04 20:18:41 · 159 阅读 · 0 评论 -
多线程爬虫
# - * - ORIGINAL - * - import threading from threading import Lockfrom queue import Queuefrom lxml import etreeimport requestsimport json#创建一个线程采集类class ThreadColle...原创 2019-06-17 00:05:58 · 86 阅读 · 0 评论 -
requests.exceptions.SSLError: HTTPSConnectionPool(host='XXX', port=443)问题
具体报错是这样的:requests.exceptions.SSLError: HTTPSConnectionPool(host='某某某网站', port=443): Max retries exceeded with url: /login/ (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'tl...原创 2019-07-05 18:52:42 · 17187 阅读 · 16 评论 -
关于安装scrapy框架问题
先简单了解一下scrapy框架:Scrapy是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架,底层是python语言写的框架。Scrapy一个开源和协作的框架,其最初是为了页面抓取(更确切来说,网络抓取)所设计的,使用它可以快速、简单、可扩展目前Scrapy的用途十分广泛,可用于如挖掘、监测和自动化测试等领域,也可以应用在API所返回的数据(...原创 2019-07-05 19:42:33 · 169 阅读 · 0 评论