![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
【爬虫】
爬虫技术
Ezrealer
Ezrealer is for Ezrealmore
展开
-
【爬虫】 Squid 3.5.20 安装与配置 高匿代理
Squid 介绍Squid 是一款缓存代理服务器软件,广泛用于网站的负载均衡架构中,常见的缓存服务器还有varnish、ATS等。正向代理服务器可满足内网仅有一台服务器可以上网,而要供内网所有机器上网的需求,也可以用于爬虫的代理访问。在实践中我将Squid作为爬虫代理服务器,实现了多IP切换的功能,将在后续文章中记录实现过程。下载与安装开启远程访问iptables -F #清除防火墙filter表中规则setenforce 0 #关闭增强安全×原创 2020-12-29 17:39:32 · 2500 阅读 · 0 评论 -
【爬虫】Airtest + 逍遥模拟器 开发 APP爬虫
AirtestAirtest 简介:AirtestIDE 是一个跨平台的UI自动化测试编辑器,适用于游戏和App。自动化脚本录制、一键回放、报告查看,轻而易举实现自动化测试流程;支持基于图像识别的 Airtest 框架,适用于所有Android和Windows游戏;支持基于UI控件搜索的 Poco 框架,适用于Unity3d,Cocos2d与Android App;能够运行在Windows和MacOS上;网易内部已成功应用在数十个项目上,利用 手机集群 进行大规模自动化测试。类似工具:ui原创 2020-12-15 17:08:06 · 2747 阅读 · 0 评论 -
【爬虫】智能提取页面信息的方式
相关的 python 库Diffbot、Readability、NewspaperGeneralNewsExtractorgerapy-auto-extractor(崔庆才):https://mp.weixin.qq.com/s/WQKGXAMdkFCwPodymlQH6A原创 2020-07-05 23:29:43 · 534 阅读 · 0 评论 -
【爬虫】数据采集技术概述
全网全量全天候信息采集技术:信息采集技术也称为爬虫技术,目前已经是相对成熟的一种技术,但是针对本项目的需求,现有的信息采集技术目前存在如下问题:a)传统的信息采集技术通常指的是网页文本信息的采集,针对本课题全量采集的需求,需要在信息采集的过程中精准定位并爬取除文本外的其他媒体类型,包括图片、视频、音频等b) 本项目需要对待监测的社交平台和敌对网站进行全天候实时采集,由于媒体网站大多都有防采集保护措施,因此需要研究设计一种智能高效的采集策略。本项目拟在现有信息采集技术的基础上,设计一种全媒体采集技术,并加原创 2020-06-10 21:12:00 · 1569 阅读 · 0 评论 -
【爬虫】requests 实现 graphql 请求
graphqlGraphQL是比REST更高效、强大和灵活的新一代API标准。Facebook开发了GraphQL并且将其开源,目前其由一大群来自全球各地的公司和个人维护。GraphQL 使用 Schema 来描述数据,并通过制定和实现 GraphQL 规范 定义了支持 Schema 查询的 DSQL (Domain Specific Query Language,领域特定查询语言)。Schema 帮助将复杂的业务模型数据抽象拆分成细粒度的基础数据结构,而 DSQL 的实现则赋予了前端开发者自由组织和定原创 2020-06-10 14:31:38 · 3853 阅读 · 0 评论 -
【爬虫】用了代理后爬虫还报错?教你验证你的代理质量
最近爬某yin,使用了代理仍然疯狂报这个错,成功率很低,错误为:HTTPSConnectionPool(host='v.douyin.com', port=443): Max retries exceeded with url: /GomJPf/ (Caused by ConnectTimeoutError(<urllib3.connection.VerifiedHTTPSConnection object at 0x7fa23abfbc88>, 'Connection to 113.85.2原创 2020-06-10 14:10:10 · 526 阅读 · 0 评论 -
【爬虫】关于 HTTP 的 OPTIONS 请求
HTTP 的 OPTIONS 方法用于获取目的资源所支持的通信选项。客户端可以对特定的 URL 使用 OPTIONS 方法,也可以对整站(通过将 URL 设置为“*”)使用该方法;简单来说,就是可以用 options 请求去嗅探某个请求在对应的服务器中都支持哪种请求方法;前端一般不会主动发起这个请求,但是通过F12 debug页面,一般可以看到 相同的请求会有两次,其中一次的 Request Method 是 OPTIONS;因为在跨域的情况下,在浏览器发起"复杂请求"时主动发起的。跨域共享标准规转载 2020-06-10 14:00:58 · 3781 阅读 · 1 评论 -
【爬虫】获取百度搜索结果的最终地址
对于普通网站,只需要通过 resp.url即可获取,但是对于百度系的网站,比如百度百科,百家号等,这种的resp.url 往往会返回类似 https://www.baidu.com/search/error.html 的链接,此时需要如下的方式去获取,这种方式也适用于通过resp.url获取不到最终地址的各种情况。思路就是在请求时通过参数 allow_redirects 来控制禁止重定向,然后在得到的response的headers中的Location字段,就可以拿到跳转后链接了,缺点是需要多请求一次才原创 2020-06-09 18:03:19 · 1134 阅读 · 0 评论 -
【爬虫】Selenium实战笔记
selenium初始化需要注意的是,如果chrome未安装在默认路径下,需要通过 option.binary_location 设置chrome的路径,如果chromedriver不和当前代码在一个路径下,也需要设置 chromedriver 的路径。option = webdriver.ChromeOptions() option.add_argument('--headless') option.add_argument('--disable-gpu'原创 2020-06-09 12:57:40 · 549 阅读 · 0 评论 -
【爬虫】绕过 CloudFlare 5秒盾的方案
方案一通过selenium拿到cookie后,带着cookie发送请求方案二1、安装pip install cfscrape2、demoimport cfscrape# get请求# 实例化一个create_scraper对象scraper = cfscrape.create_scraper(delay = 10)# 获取网页源代码resp = scraper.get("https://wallhere.com/")print(resp.text)# post请求# 实例化原创 2020-06-09 11:45:51 · 10827 阅读 · 0 评论 -
【爬虫】爬虫实验室
爬虫测试方案策略种类:无cookie,IP不变加cookie,IP不变无cookie,IP代理记录信息:被封时 :测试机器请求间隔被封时间被封前成功请求次数被封现象结论有带IP代理时:测试机器请求间隔测试时间成功次数/请求次数被封现象搜狗无cookie,IP不变测试机器:我的电脑、Linux服务器(168)请求间隔:1秒被封时间:3分钟被封前请求成功次数:118被封现象:请求跳转进入输入验证码链接http://www.sogou.com/antis原创 2020-06-09 11:42:24 · 446 阅读 · 0 评论 -
【爬虫】爬虫常用代码(查阅)
检索目录编码与解码unicode编码转中文16进制转中文url encode的解码与解码html转义字符的解码base64的编码与解码过滤emoji表情解析htmlbeautifulsoup解析页面完全过滤script和style标签过滤html的标签,但保留标签里的内容正则提取内容(一般处理json)时间处理常规时间处理各种时间格式的处理方式数据库操作常规操作根据字典的key构造动态sql使用代理requestsscrapy请求graphql编码与解码unicode编码转中文content = "\原创 2020-06-08 14:42:19 · 1305 阅读 · 0 评论 -
【爬虫】Scrapy实战笔记
安装安装可能出现的问题1、Microsoft Visual C++ 14.0 is required在pip install scrapy时出现错误:Microsoft Visual C++ 14.0 is required.此时需要进入网站https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted,根据pyhon版本和位数下载whl文件,然后放到Anaconda3\Scripts下,并在路径下打开cmd,执行:pip install .\Twist原创 2020-06-08 14:05:23 · 624 阅读 · 0 评论