东方财经财富号爬虫流程(4) -- ip 代理池组件

最新推荐文章于 2021-10-20 00:38:25 发布
最新推荐文章于 2021-10-20 00:38:25 发布
阅读量252 收藏 1
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Enjolras_fuu/article/details/103609620
版权

组件

ip 代理组件作为一个单独的公共模块方便复用：
在这里插入图片描述

ip 代理对象

将每一个 ip 代理抽象为一个类：
在这里插入图片描述

ProxyPool

初始化

在这里插入图片描述

爬取

在这里插入图片描述
将 爬取 ip 的实现委托给 proxy_strategy （GetProxyStrategy 类的实例）。

爬取并且定期的健康检查

在这里插入图片描述

在这里插入图片描述

随机选取可用 ip

在这里插入图片描述

GetProxyStrategy

真正解析网站获取 ip 的类。 如果我们买了自己的 ip 代理，可以替换掉这里。 具体看代码吧，这里不再截图。

加入中间件

在 middlewares 中加入代理中间件：
在这里插入图片描述
在这里插入图片描述

更新时间： 2019-12-19

feiyy404
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【python网络爬虫】-构建免费代理池
11-07
【python网络爬虫】-构建免费代理池 # 导入requests模块 import requests # 从bs4中导入BeautifulSoup模块 from bs4 import BeautifulSoup # 定义获取代理地址的方法 def get_proxy(pages, ua): # 定义proxy_ips...
简单爬虫：东方财富网股票数据爬取(20231230)
weixin_54500866的博客
12-31 3317
可以看到返回的文件中，data后为null，因此，在每个板块循环爬取时，只要碰到页码的返回文件中data的内容为null时，则停止爬取当前板块。同时由于返回文件中，data后的内容是以null变量的形式展示的，我们需要定义一个变量null，否则会出现报错NameError: name 'null' is not defined。查看网页源代码发现并没有目标数据，因此需要对网页进行抓包分析，查看哪个文件里包含目标数据，打开开发者模式（F12），找到目标文件。首先查看url，获取沪京深A股的第一页数据。
爬取东方财富网数据笔记
m0_63151116的博客
10-20 8370
小白是如何学习爬虫的？首先先从简单的入手，在b站上寻找爬虫视频，这里推荐Python爬虫编程基础5天速成（2021全新合集）Python入门+数据分析_哔哩哔哩_bilibili 有编程基础的仅需要观看其中部分爬虫视频即可，如果没有编程基础可以自行观看完整视频。这里的爬虫讲解以豆瓣电影Top250的信息爬取为主，所以通过学习如何爬取豆瓣电影信息为基础，在此基础上摸索爬取东方财富网的信息数据。（爬取豆瓣的代码，在视频中有非常完整的讲解） 下面首先爬取了东方财富网的Title 网址：平安银行...
scrapy爬取东方财富
落神的博客
06-15 1801
只有spiders部分，看不懂的私聊，从不写注释，就是这么任性 # -*- coding: utf-8 -*- import scrapy, json, re, time from Spider.spider.tool.config import ConfigTool from Spider.spider.item.eastmoneyitem import EastmoneyItem from Spider.spider.tool.common_def import * """ __date__:
Python爬虫之用supervisor使scrapy在服务器后台运行
weixin_33705053的博客
12-05 592
折腾原因 之前都是远程连接服务器，然后在命令行运行scrapy crawl spider，一旦关闭远程连接，爬虫就会停止，很不爽，毕竟能让一个爬虫在服务器一直跑才是每个小白的梦想= =，所以开始研究如何使程序在后台运行，刚开始看了scrapyd，感觉不好用，又搜了搜，发现了supervisor这个python进程管理程序。 supervi...
基于Scrapy的东方财富网爬虫
潇洒坤
09-06 1612
标题中的英文首字母大写比较规范，但在python实际使用中均为小写。 2018年9月6日笔记 IDE(Intergrated development Environment)，集成开发环境为jupyter notebook和Pycharm 操作系统：Win10 语言及其版本：python3.6 0.观察网页 网页链接：http://finance.east...
人工智能-项目实践-异步调度-异步调度IP免费代理池.zip
01-04
人工智能-项目实践-异步调度-异步调度IP免费代理池 本项目通过爬虫抓取互联网上免费代理网站的IP，并且进行异步检测是否可用，如果可用就放入数据库。定时对数据库中的代理进行维护，然后通过web api的形式供外部...
Python爬虫：自建基于MySQL的代理ip池
03-13
包括UA伪装、代理网站的爬取、代理ip的分析检测、Python与MySQL数据库的交互、爬取内容的持久化存储。运行环境：Python 3.8.6 开发环境：PyCharm 2019.2.4
python编写的爬虫代理ip池.zip
最新发布
03-03
python编写的爬虫代理ip池.zip 运行环境 python3 和mysql数据库 下载使用 下载源码 git clone .git 或者在下载zip文件 安装依赖 pip install -i https://pypi.douban.com/simple/ -r requments.txt 创建数据库 ...
自建一个小型的ip代理池-适合新人练手入门
02-07
自建一个小型的ip代理池呢 结合博客网址学习：https://blog.csdn.net/qq_33125039/article/details/82229277
爬虫练习（3）-- 36Kr 站点正则和 ajax 混合
热门推荐
Enjolras_fuu的博客
07-30 2万+
练习 1 里面的 豆瓣网站属于发送 ajax 强求获取到 json 数据，练习 2 的果壳属于正则匹配去源码中获取。本次练习的 36Kr 站点是前两者的结合。首页数据放在源码中，往后拖动，发送ajax请求去获取数据。...
爬虫常用技巧（3）-- cookiesjar 与字典之间的相互转化
Enjolras_fuu的博客
07-28 4999
cookies的类型是cookiejar 实例代码 import requests url = 'https://www.baidu.com' response = requests.get(url) print(response.cookies) 运行结果 python@ubuntu:~/Desktop/pach$ python3 ckjar.py <Requests...
用 python 调用和风天气的 api 爬取天气预报数据
Enjolras_fuu的博客
05-18 3089
和风天气的天气预报，为个人开发者提供免费的天气预报数据。（有访问次数的限制）。 注册开发者账号 第一步，我们需要去注册一个开发者账号： 网址： https://id.heweather.com/login?redirect=https://console.heweather.com/my/service 阅读开发者文档 参考：https://dev.heweather.com/docs/getting-started/get-api-key 然后我们来看调用的示例代码： 没有 python
交易所行情数据采集爬虫
Enjolras_fuu的博客
05-14 2713
任务描述 在每天的盘前以及盘后的时间爬取上交所和深交所发布的当如的行情数据。 上交所数据源： http://www.sse.com.cn/market/price/report/ 深交所数据源： http://www.szse.cn/market/trend/index.html 网站更新规律 上交所在一天之内，实时更新当天的行情数据。 深交所在当天收盘后才会更新当天的数据。 上交所行情 ...
全量爬取百度词库的词条
Enjolras_fuu的博客
04-20 2549
参考 https://zhidao.baidu.com/question/84723766.html 批量获取关键词 base_url = 'http://baike.baidu.com/view/{}.html' headers = { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,...
关于爬虫中使用了 ip 代理还是被封的一些想法
Enjolras_fuu的博客
02-07 2177
问题描述 最近在爬取一个股票相关的网站，发现即使使用了代理，还是 403 被反了。 但是当我更换阿布云付费代理的时候，是 ok 的。 解决过程 找到一篇文章： https://www.zhiliandaili.com/News-getInfo-id-159.html 首先我想的是我的代理是不是质量不好，不是高匿的。 检验高匿代理 搜索如何判断 ip 是高匿代理， 找到了一些测试方案 ： htt...
爬虫 js 时间戳处理
Enjolras_fuu的博客
12-30 1961
前后端对接的时候，最好使用同一的时间戳 ，这样两边的处理更加灵活。 在爬虫项目中，当我们拿到了某个数据 item 的时间字段，有可能是以 js 时间戳的格式存储的。 我们在入库的时间需要做一定的准换，转换为 python 中的时间格式，进一步转换为适合插入 mysql 中的时间格式。 首先我们检查下时间是否和页面显示时间一致： 然后在 Python 程序中将这个时间戳转换为 datetime ...
爬虫常用技巧（5）-- 访问超时处理
Enjolras_fuu的博客
07-28 1645
使用场景 有些站点或者代理反应慢，严重降低效率，这个时候可以设置超时 使用示例 import requests url = 'http://youtube.com' res = requests.get(url, timeout=3) print(res.status_code) 联系方式 qq：2564493603 欢迎交流 ...
simhash 介绍以及应用场景
Enjolras_fuu的博客
02-04 1490
简介 simhash 算法是一种局部敏感的哈希算法，能实现相似文本内容的去重。 与信息摘要算法的区别 信息摘要算法：如果两者原始内容只相差一个字节，所产生的签名也很有可能差别很大。 simhash 算法： 如果原始内容只相差一个字节，所产生的签名差别非常小。 simhash值的对比： 通过两者的 simhash 值的二进制位的差异来表示原始文本内容的差异。差异的个数又被称为海明距离。 注意： si...
东方财富网爬虫封 ip
07-22
对于爬虫封IP的策略，东方财富网可能采用了一系列技术手段来检测和限制爬虫行为的访问。这可能包括根据用户访问的频率、时间间隔和请求头等信息进行判断，如果发现某个IP访问行为异常，如频繁请求页面、请求头信息不...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值