- 博客(39)
- 收藏
- 关注
RSS订阅原创 被爬网站用fingerprintjs来对selenium进行反爬，怎么破？
首先，我们来了一下，FingerprintJS技术是什么？FingerprintJS是一种浏览器指纹识别技术，通过收集用户浏览器的各种特征数据，如Canvas指纹、音频指纹、字体指纹、插件指纹等，进而生成一个唯一的标识符，用以识别和追踪用户。在现代互联网应用中，这种识别技术被广泛运用于防止网络攻击、改善用户体验等场景。
2024-07-31 14:36:43
719
原创 芝麻IP好用吗？来测试了！
作为老牌代理IP服务厂商，芝麻IP和青果网络代理IP都做的不错，市场上几乎可以是有口皆碑了，上次测试了青果网络的代理IP，效果表现得还挺不错，和他们自己宣传的以及客户对他们的评价大差不差。总的来说，他们家无论从稳定性带宽，可用率和业务成功率来说，雀食都会比别的厂商提供的代理IP质量好一点。而且他们家给我印象最深刻的是，在使用过程中，有什么问题，他们能快速给到响应，迅速应对措施，属于是推荐那一卦。ps：最近他们好像还做了产品调整，短效代理做了分池处理，业务成功率还有所提升。
2024-06-03 13:56:39
420
原创 在使用 Java 数据采集时，有哪些需要注意的问题？
为了防止被爬虫过度使用或者被恶意爬取，一些网站可能会设置反爬虫措施，如验证码、IP封禁等。所以我们在使用Java爬虫时，需要编写相应的代码来处理这些反爬措施，以确保爬虫程序可以正常运行。总的来说，Java爬虫是一种强大而灵活的工具，可以帮助开发者从互联网上获取所需的数据。在使用Java爬虫时，开发者需要注意合理设置爬取速度、处理反爬措施以外，还需要从根源上，找到一家合适的HTTP代理。首先，是合理设置爬取速度。为了避免这种情况发生，开发者应该合理设置爬取速度，避免对目标网站造成不必要的干扰。
2024-03-23 17:25:56
748
原创 代理IP速度变慢的原因是什么，要如何解决？
许多用户在使用代理IP时都可能会遇到网络速度变慢的问题，这和我们很多人使用代理IP的初衷背道而驰了，所以，代理IP的网络延迟到底是什么原因造成的，我们又要如何解决这个问题呢？今天就和大家一起来探讨探讨。
2024-03-15 16:24:17
512
原创 怎样开始用selenium进行自动化测试？
希望本文能帮助你建立起使用Selenium进行自动化测试的基础知识架构：从安装配置到编写和运行测试脚本，再到结果验证和测试管理，每一步都是构建高效、可靠自动化测试体系的重要组成部分。它支持多种浏览器，如Chrome、Firefox、IE等，同时也支持多种编程语言，包括Java、C#、Python、Ruby等，具有极大的灵活性。需要安装Selenium WebDriver，它是Selenium项目的核心部分，允许你编写代码来模拟用户在浏览器中的行为，也即是我们利用WebDriver驱动程序与浏览器进行交互。
2024-03-07 14:32:52
1037
原创 24年整理！ 各大代理商隧道代理IP价格对比，文末有总结
如果本文用一张图来看，可以概括：价格趋势：综上，从性价比来看，青果网络的隧道代理IP的表现可谓抢眼，即使是要新增通道，加价也是同类最低。不过如果需要购买，购买前最好还是先测试试用吧，我看青果网络的隧道代理有6小时的试用时间，估计要联系客服。以上就是本韭菜有关隧道代理各大代理商的价格对比，最后再附赠2张统计表格，希望各位韭菜共同觉醒，多多对比，多多测试再剁手不迟！
2024-02-22 15:47:56
2406
原创 python教程|如何批量从大量异构网站网页中获取其主要文本？
举个简单的例子，，一些网站可能将主要内容放在特定的标签内，而另一些网站可能使用标签，而且常见的文本通常也包含在（段落）、至（标题）等标签中。在当今信息爆炸的时代，网络上充斥着海量的数据，其中文本数据作为信息传递的基本单元，对于数据分析、信息挖掘等领域至关重要。总得来说，Python作为一种功能强大且灵活的编程语言，在处理和分析网络数据方面展现出了巨大的潜力，随着技术的进步，将会有更多的工具和方法出现，也为获取更加精准和有价值的信息打开了新的可能。
2024-01-25 17:20:40
514
原创 讯代理废了，熊猫代理豌豆代理小象代理天启代理……还能用哪个？
2024年，对于数据采集er来说，开年第一炮，无异于讯代理也废了。直接over。火速打开了客服的绿泡泡，不过已经得不到回复了，之前充的米也要不回来了。难道就没有一家靠谱一点的HTTP代理服务提供商吗？理论上来说，是有的，要注意甄别。
2024-01-17 17:41:20
578
原创 最新对比，芝麻代理、青果网络、快代理的代理IP哪家好？
近期，讯代理跑路了，想必大家都知道吧？历年来，跑路的代理IP服务商不在少数了，从飞蚁、rola、讯代理……这还是做了一定体量，大家略有耳闻的，其他还有更多的小服务商倒下，倒也不是想来说一波创业艰难，我只是心疼打工人的钱和找代理IP的精力。基于行业共识，现在代理IP的头部，无非就是芝麻代理，青果网络和快代理了(排名不分先后)，这3家做的时间久，大厂合作，口碑也相对比那些小服务商有保障，不出意外也是大部分人的首选。那我们这次就来一起先看看芝麻代理和青果网络这2家代理IP服务孰优孰劣，我们要如何选择？
2024-01-09 17:52:05
731
原创 用快代理给某红薯做数据采集，该怎么做？
清洗后的数据我们可以利用数据分析工具来分析，Pandas、Tableau、BI可视化看板，具体也是根据我们习惯用啥，需求是啥来定，这里不展开叙述了，大家自行实操就好了。它为品牌提供了一个直接与用户互动的场所，通过内容创作、用户生成内容(UGC)、影响者营销等策略，建立了紧密的社区联系，提高了用户忠诚度。通过分散请求，HTTP代理避免了我们在做数据采集工作时，对单一IP的频率限制，同时提高了并发请求的能力，为我们获取更广泛而精准的数据提供了便利。没啥好再多夸的，有需要的可以去测试。接着说回我们的数据采集。
2023-11-23 16:22:01
251
原创 网易云音乐如何设置HTTP代理
当我们深夜一边开着HTTP代理网上冲浪，但是秃然emo想听一首氛围歌，发现无法登录我们的emo宝典之king：网易云的时候，就更emo啦。3.在打开的界面选择自定义代理并选择好代理类型，填入HTTP代理和端口，在用户名和密码栏中分别填入authkey和authpwd后应用设置。那，在网易云音乐中如何设置HTTP代理呢？非常非常的简单，亲妈级别的教程，1分钟立马学会！打开网易云音乐软件，点击右上角的齿轮图标。2.在打开的界面中选择工具界面。
2023-10-19 17:31:26
752
原创 巨量代理代理IP测试，最新代理IP质量测试
在当今互联网大数据时代，数据采集日益发展，HTTP代理在其中扮演着重要的角色。和其他产品一样，在使用HTTP代理的时候我们也会遇到诸如：稳定性、匿名程度、响应速度、IP池可用率等问题，如何对HTTP代理进行测试，才能满足我们的需求？目前市面上很多HTTP代理都有提供试用，购买之前大部分人都会试用，但是我们很经常看到，很多uu在互动社区评判HTTP代理服务提供商提供的产品购买后使用效果不尽如人意。具体如何，真的很难让人辩驳。这次我购买了巨量代理进行测试供大家参考。那一起看看测试结果吧！
2023-09-27 11:14:49
412
原创 熊猫代理代理IP测试，最新代理IP质量测试
熊猫代理的产品，产品详情介绍要仔细看清楚，例如：动态代理，是机房IP，且不支持API接入；高效代理不支持地区选择，所以我们在使用之前一定要先了解清楚，是否有无法支持我们使用方式的点；产品种类虽多，但产品介绍没有那么清晰，无法第一时间对应到各自的业务场景当中，最好还是需要和客服咨询一下；IP有效时间产品详情介绍说是5分钟，但是使用下来普遍在2分钟左右；价格相对而言偏中高。
2023-09-26 16:07:02
438
原创 快代理代理IP测试，最新代理IP质量测试
来总结一下：就本次测试结果而言，快代理的综合表现也还可以，不过他们在节点和日去重方面会比我们之前测试过的青果网络略逊色一点。PS：青果网络覆盖的城市节点有200+个，现在还开通了海外HTTP代理，节点应该有更多。在日去重方面，青果网络分为普通池子日去重60W，企业池子220+W。说回快代理。
2023-09-25 16:51:47
361
原创 品易代理IP测试，9月最新代理IP质量测试
我们可以发现总体而言，品易代理的价格是比较偏向中高的，就测试结果而言，这个性价比似乎不是很高。即使注册就送流量、买赠都算上去，价格也是不匪。让我惊讶的是，品易代理的带宽，略低啊。0.73，甚至1M都没有。相较于之前我们的优秀课代表青果网络来说，青果网络的价格只有品易代理的一半，但是测试结果从稳定性、可用率、匿名度、和响应速度各方面数值都会更好一些，属于物美价优。
2023-09-23 11:37:04
261
原创 实操 | 豌豆代理IP测试，最新代理IP质量测试
在当今互联网大数据时代，数据采集日益发展，HTTP代理在其中扮演着重要的角色。和其他产品一样，在使用HTTP代理的时候我们也会遇到诸如：稳定性、匿名程度、响应速度、IP池可用率等问题，如何对HTTP代理进行测试，才能满足我们的需求？目前市面上很多HTTP代理都有提供试用，购买之前大部分人都会试用，但是我们很经常看到，很多uu在互动社区评判HTTP代理服务提供商提供的产品购买后使用效果很差。
2023-09-22 15:05:35
463
原创 9月青果网络代理IP测试，最新代理IP质量测试
综合测试数据来看，青果网络的HTTP代理还是推荐的，保证了高可用率，还能保持稳定性和极快的响应速度，优质的高匿池子结合价格简直是加分项，算得上是一款高性价比的HTTP代理了。纵观青果网络的HTTP代理服务产品，我们可以发现，他们家的产品种类很是齐全，基本我们遇到的业务场景都能找到对应的产品种类，产品细化对于很多小白而言很友好，HTTP代理的存活时长也不会水，范围都大致在自己选的那个时段内，十分坦诚，是我们互联网爬虫数据采集的好搭子！
2023-09-18 13:41:10
419
原创 隧道代理质量不行了？阿布云、快代理、小象代理、熊猫代理，隧道代理有推荐的吗？
而且对于我们而言最直白的就是业务成功率确实很高，算是我用过的隧道代理最优的那一列里，并发和高突发也都支持，带宽也够用，如果业务体量大，需要的HTTP代理多，和他们对接一下，可以有定制服务，这就属于后话了。没隧道代理这个产品之前，大家都用动态共享来自己搭建隧道搞，现在比之前可方便多了，但是失眠上HTTP代理服务提供商里面，有隧道代理这个产品的也仍然不多。但凡用过的人，都会知道他们的HTTP代理质量好，无论从响应速度、IP可用率、HTTP代理节点的范围之广，和同业对比起来都很拿得出手。
2023-08-30 16:37:09
244
原创 为什么Python Selenium获取的Cookie不完整？
在某些情况下，使用Python Selenium访问网页并尝试获取Cookie时，可能会发现获取到的Cookie不完整。具体而言，期望获取的Cookie键值对数量与实际获取的数量不符。类似这个uu的问题：目前情况下，Python Selenium获取的Cookie不完整可能的原因有几个：1.在获取Cookie之前，网页内容可能还未完全加载或渲染完成，导致Selenium无法获取到完整的Cookie。
2023-06-30 17:52:52
661
原创 为什么用Python爬取网页数据，在检查net work中很多和教程上不一样？
很多同学们在初学python的时候，都会遇到这个问题：在使用python进行网页数据爬取时，在浏览器的"Network"(网络)选项卡中可能无法看到与视频教程或其他参考资料中显示的相同结果，经过各种对比，总是找不出结症在哪，今天就来说说，我们为什么会出现这个问题，以及我们应该怎么做，才能解决这个问题？
2023-05-25 11:21:30
550
原创 阿布云、青果网络、亿牛云、熊猫代理，隧道代理推荐哪一家？
HTTP代理的广泛应用，隧道代理以其云端切换HTTP代理的特性、使用更加便捷显得尤为突出。不再像传统代理服务器的不断请求，隧道代理是高速HTTP隧道，通过将请求转发到不同的HTTP代理实现不断更换。目前市面上有隧道HTTP代理产品的厂商不多，也就那几家：阿布云、快代理、青果网络、小象代理、熊猫代理和亿牛云。区别于普通的HTTP代理产品，隧道代理通常同一HTTP代理厂商价格会相对而言更贵，仅看市面上为数不多的专门有此类产品的厂商就知道了。难道我们要因为它太贵了，就不使用隧道代理吗?
2023-05-25 10:09:41
486
原创 爬虫抓取网站有什么技巧，要如何避免错误代码？
我们在爬虫作业的时候，经常会遇到HTTP返回错误代码，那这些错误代码代表了什么意思呢？爬虫作业的时候又该如何避免这些问题，高效完成我们的项目？
2023-04-07 17:34:28
510
原创 Python建立SSH连接与使用方法
需要注意的是，在实际使用中，你可能需要使用SSH隧道和代理来建立安全连接。此时，你需要在paramiko库中使用相应的方法和参数来配置SSH隧道和代理。连接到远程主机后，本地端口将被转发到远程主机上的指定端口，从而实现数据的隧道传输。在本地机器上运行SSH客户端，并指定远程主机的IP地址和登录凭据。在本地机器上运行SSH客户端，并指定远程主机的IP地址和登录凭据。在SSH连接中添加隧道，指定本地端口和远程主机上的端口。在SSH连接中添加代理，指定本地端口和远程主机上的端口。
2023-03-20 10:48:02
1657
原创 如何在不重新启动phantomjs的情况下修改HTTP代理？
使用Selenium和PhantomJS模拟浏览器访问是一种非常常见的自动化测试技术，而修改HTTP代理也是一个常见需求，因为有时候我们需要测试在不同地理位置下的网站性能，或者需要绕过一些IP限制等等。首先，我们需要根据自己项目的成本来核算采购HTTP代理的预算是多少，多看看市面上常见的几家价格：快代理、青果网络、小象代理、熊猫代理、阿布云亿牛云等。通过以上步骤，我们可以在不重新启动PhantomJS的情况下，通过修改HTTP代理来模拟不同的网络环境，从而完成自动化测试。适合自己的才是最好的。
2023-03-07 15:49:47
249
原创 如何利用python对HTTP代理进行自动化维护？
以上代码使用了一个名为ProxyPool的类，包含了从HTTP代理网站爬取HTTP代理、验证HTTP代理可用性、获取有效HTTP代理等方法。具体而言，首先使用requests库和BeautifulSoup库从指定的HTTP代理网站获取HTTP代理信息，并将获取到的HTTP代理存储到self.proxies列表中。当然，HTTP代理池的维护还可以进行更加复杂的优化，例如使用多线程或协程并行爬取、验证HTTP代理，加快维护速度；但是无论如何，HTTP代理池的维护都需要不断地根据实际情况进行调整和优化。
2023-03-03 14:41:04
236
原创 python测试request代理IP是否替换
但是需要注意的是，有些HTTP代理可能已经被封禁或失效，而有些HTTP代理可能会泄漏我们的真实IP。因此，在使用HTTP代理时，我们需要谨慎选择可靠的HTTP代理，优质的HTTP代理厂商能为我们提供更安全可靠、高质量的HTTP代理，可用性也能得到保证，无需我们反复测试其可用性。在这个示例代码中，我们首先设置了HTTP代理和端口号，然后使用Request模块发送HTTP请求。最后，我们检查了请求头中的IP地址，以确保我们的真实IP被HTTP代理成功替换了。
2023-02-28 14:58:30
416
原创 HTTP协议无状态，该怎么解决？
4.利用session会话将cookies等值自动传到下一个接口。Session相当于程序在服务器上建立的一份客户档案，客户来访的时候只需要查询客户档案表就可以了。1.直接把用户名和密码保持到cookie中，不过目前此类方法风险比较大，一般不把密码等重要信息保存到Cookie中。2.把密码加密后保存到Cookie中，下次访问时解密并与数据库比较。3.加密账号后连同账号一块保存到Cookie中。
2023-02-20 17:05:54
372
原创 如何批量检测隧道HTTP代理的可用性？
直接设置HTTP代理，利用该HTTP代理是否能成功访问网站来检测是否连接代理成功。利用常用的日用软件当中的“设置”，使用HTTP代理，填写对应ip代理的地址+端口，点击“检测”，返回成功，则是正常，返回失败，这是无效。值得注意的是，目前市面上很多正规的厂商都对聊天工具实施禁止使用的状态，所以建议日用软件避开此类。此类方法也有局限性，因为很多服务器的防火墙都会关闭ping的回显。在cmd命令行里输入 Telnet IP +端口，然后回车。在cmd命令行里输入 ping IP。
2023-02-17 16:23:12
300
原创 Python 如果做到高并发？
3.使用多进程: 因为 Python 的 GIL ( GlobalInterpreter Lock) 限制了单个线程的 CPU 并发能力，如果想要更好的利用 CPU 资源，可以使用多进程， multiprocessing 模块来实现。1.使用标准库 threading：这是 Python 标准库中内置的线程模块，提供了基本的线程管理和同步功能，如创建线程、获取线程状态、实现线程间同步等。具体实现方法可以参考相关文档和代码示例，我们可以根据自己的需求选择合适的方法实现。
2023-02-10 16:42:24
879
原创 爬虫ip经常被封，该如何解决？
经常看到uu们分享，自己向厂商购买了HTTP代理，但是还是经常被封，导致自己无法按时完成作业，项目无法完成，那该如何解决这一问题呢？
2023-01-13 09:42:27
842
原创 测试HTTP代理对目标服务器的访问结果，好用的HTTP代理厂商推荐
我们在使用HTTP代理的时候，通常是需要爬取目标服务器的数据，很多人也都一再强调测试的重要性，那要如何测试HTTP代理对目标服务器能否达到采集的效果呢？实际上，利用Proxifier即完成，今天，就来说说要如何利用Proxifier测试HTTP代理测试对目标服务器的访问结果。
2023-01-10 16:29:26
326
原创 利用Python实现敲击木鱼积累功德效果 功德+N
那，要如何利用python来实现敲木鱼，让我们的”功德“达到最大化？时下，电子木鱼已经成为年轻人之间流行的“电子拜佛“的方式。赛博佛法之敲电子木鱼可以说得上是打工人的解压利器了。非常简单，跟着代码走，功德buff叠满！
2023-01-03 17:34:21
916
原创 新手教程 | Python自动化测试Selenium+chrome连接HTTP代理（账密+白名单）
Selenium 有很多功能， 但其核心是 web 浏览器自动化的一个工具集，它允许用户模拟终端用户执行的常见活动；将文本输入到字段中，选择下拉值和复选框，并单击文档中的链接。它还提供许多其他控件，比如鼠标移动、任意 JavaScript 执行等等。虽然 Selenium 主要用于网站的前端测试，但其核心是浏览器用户代理库。
2022-12-16 15:52:50
2258
原创 Python HTTP代理的优缺点？芝麻代理豌豆代理熊猫代理讯代理？
3. 当然，最重要的就是测试啦，事先咨询厂商是否能进行测试，一方面看看是否匹配自己的业务场景，一方面也能侧面了解到后期的服务：使用过程中遇到问题能否解决，这家厂商的技术实力等问题……以及他们家的动态短效代理，又有分企业池和普通池，企业池会比普通池更贵10元，咨询了客服，说是专门为企业级别的用户定制的，池子里IP量更大。其中，芝麻系的还有很多家，比如太阳、极光之类的，不过使用过程中发现可用率没有那么高，我们就不放上来，放上最具知名度的芝麻代理足够了。那咱们到底该怎么选？动态短效HTTP代理。
2022-12-16 14:47:27
609
原创 Python Scrapy框架HTTP代理的配置与调试
本文分为两部分：一、HTTP代理的逻辑做过python爬虫的都知道，HTTP代理的设置时要在发送请求前设置好，那HTTP代理的逻辑点在哪里呢？每个 Downloader Middleware 定义了一个或多个方法的类，核心的方法有如下三个：以上，就完成了Scrapy代理的设置和验证调试。PS：icanhazi是一个显示当前访问者ip的网站，可以很方便的用来验证scrapy的HTTP代理设置是否成功。
2022-12-14 16:37:15
975
2
原创 如何将SOCKS5代理转换成HTTP代理？
在我们数据采集的过程中，会出现有的服务器提供SOCKS5代理服务，有的则是HTTP代理服务，如果我们需要的是HTTP代理服务，我们就得想办法把SOCKS5代理转化成HTTP代理，具体要怎么做呢？实际上，非常简单！
2022-12-08 16:47:34
761
原创 隧道代理怎么用啊？隧道代理GO语言代码示例
经常做数据采集的人对隧道代理肯定不陌生，但对于新手小白而言，有可能还是属于未涉及的领域，今天就来看看隧道代理（动态请求）利用GO语言要如何写代码。以上就是隧道代理GO语言代码示例啦，有需要的可以自取。
2022-12-07 17:40:11
329
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人