- 博客(34)
- 收藏
- 关注
RSS订阅原创 如何使用 request-promise 在发送请求时使用代理ip？
如何解决这个问题，我们要知道request-promise 是一个基于Promise的HTTP请求库，可以简化Node.js中发送HTTP请求的流程，提供了更加方便的API。在上面的代码中，我们使用 options 对象来配置请求的参数，其中包括请求的URI和代理服务器的地址。通过以上步骤，我们成功地使用 request-promise 发送了一个网络请求，并通过代理服务器发送请求。所以我们在实际应用中，可以根据自己的需求和场景，选择合适的代理服务器，并使用 request-promise 发送请求。
2024-03-13 17:49:29
571
原创 有哪些搭建代理服务器的好方法？--代理IP小课堂
在互联网技术日益成熟的今天，代理服务器在提升网络安全性、提高访问速度以及数据抓取等方面发挥着越来越重要的作用。无论是大型企业还是个人用户，都可能会考虑搭建自己的代理服务器来满足特定的网络需求。今天我们就来说一说，要如何搭建代理服务器，以此来帮助你快速入门代理服务器的搭建和使用。
2024-03-07 16:46:40
933
原创 tcp/ip模型中，帧是第几层的数据单元？
但是，对帧在TCP/IP模型中的作用有基本的理解，可以帮助开发者更好地理解数据包是如何在网络中传输的，以及可能出现的各种网络问题。同时，对于网络编程，尽管在高层次抽象中不需要直接处理帧，但对其基本原理的理解对于诊断和解决网络问题是非常有帮助的。其中，一个核心的概念是数据单元的层级，特别是“帧”在这个模型中的位置。虽然这个例子中的数据交换看似简单，但在底层，TCP/IP模型中的网络接口层正通过帧来传输这些数据。在这一层中，数据被封装成帧，然后通过物理媒介，如有线或无线方式，传输到另一端的设备。
2024-02-01 17:52:16
910
原创 测试！芝麻代理效果怎么样？数据采集成功率？
芝麻代理的风评有点两级分化了，有人说垃圾，也有人认为贵有贵的道理。别整这些有的没有的，我们今天就来测试一下，看看真相具体怎么样。HTTP代理的稳定性、匿名程度、响应速度、IP池可用率以及带宽这几个点，是保证我们的数据采集业务成功率，所以我们主要也是测试这些。
2024-01-17 15:33:18
893
原创 天启代理好用吗，用HTTP代理经常被封该怎么办？
大家好呀！我经常看到大家在讨论，有时候买了HTTP代理后，还是会遇到被封的烦恼，IP池子可用率也变得极低，成功率断崖式下降，影响了工作进度，严重点的甚至项目都完不成了。那我们该怎么解决这个问题呢?别慌！！只要你get到这个小妙招分分钟解决。
2023-12-01 17:55:25
679
原创 dis ip int brief命令的作用是什么？
上面是列出了设备上的一些接口，包括GigabitEthernet、LoopBack、Vlanif接口，显示了每个接口的IP地址；状态是怎么样的，比如上面看到的，UP表示启动，DOWN表示关闭；这上面，“eth0” 接口是代理IP的接口，它有一个IP地址（203.0.113.1）并且状态是UP。这个命令的目的是显示设备上所有接口的基本信息，包括接口的状态、IP地址、协议等。不过值得我们注意的是，具体的命令和输出格式可能因设备型号和操作系统版本而异。那到这里就会有小可爱问了，如果我们用了代理IP，是怎么搞？
2023-11-14 17:33:55
1129
原创 有HTTP代理池子，要怎么快速搭建隧道代理？| 纯技术分享
鉴于隧道代理确实好用，大家都会更愿意使用这一技术，但无论你去哪家HTTP代理服务提供商那各种对比，可以发现，隧道代理的成本确实比普通HTTP代理的成本高出不少，甚至很多HTTP代理服务提供商直接就没有隧道代理这产品。需要成本控制的情况下，我们可以使用HTTP代理池子自己搭建隧道代理。注意，我们这次的主题是要先有HTTP代理池子，如果没有，要么自己用免费的搞一个，要么直接去和HTTP代理服务提供商花米搞一个，这不难，就不展开说了。不过建议的不要用免费的，可用率不大行耽误事，还容易踩各种坑，相信懂的都懂。
2023-10-31 16:27:19
210
原创 自建稳定的HTTP代理池(妈妈再也不用担心被封了) | 实用教程
对于爬虫技术人员来说，自建HTTP代理池是提高爬虫效率和成功率的关键一环。今天，我们来聊聊怎么搭建稳定高效的自建HTTP代理池。当涉及到爬虫技术的同行们想要增加网页爬取的速度和成功几率时，自行创建HTTP代理池将成为一项非常重要的武器。今天，我们来谈谈如何打造一个超级强大的代理池，以确保你的数据采集任务能够顺利完成!
2023-10-24 16:06:25
189
原创 用了云立方HTTP代理网速能变快吗？
一般来说，如果代理服务器的带宽速度接近或超过你的网络连接的带宽速度，那么可以认为代理的带宽速度较快。多年对比使用下来，青果网络提供的HTTP代理会比较可一点，带宽限制的不会像其他家那么低，小于100ms，速度还挺快，偶尔抽看下他们给的HTTP代理的地理位置，覆盖方位还蛮广，不会只给某些偏远便宜地区的节点，北上广有，云贵川也有，哈哈哈哈哈哈哈给哈哈哈哈。经常有uu在后台问我，使用了某品牌的HTTP代理带宽时快时慢，快的丝滑堪比德芙，慢的时候仿佛卡成搞PPT，到底是怎么回事呢？
2023-07-06 17:16:50
155
原创 爬虫为什么要用HTTP代理？
如果我们在使用爬虫的时候，要多次请求，哪对于目标服务器而且就会是个很大的工作量，电脑运行超负荷了还宕机呢，网页服务器也是同理的，所以都会采取相对因的反爬措施，针对于同一个客户端短时间超负荷访问，对目标服务器造成压力的，就会进行限制处理。在爬虫中，我们采用合理的爬虫策略，设置访问的时间间隔，错开时间，这些事很多萌新会感觉这也太费劲了，又慢。然而多年的工作经验告诉我们，”慢就是快“，我们前期做好了准备工作，采取合理的爬虫策略，会让我们在数据采集的时候更顺畅，更不耽误时间，这从另外一个角度来看，就是快。
2023-06-30 17:21:18
743
原创 requests库的100种妙用！
Python的requests库是一个功能强大且广泛使用的HTTP请求库，用于在Python中发送HTTP请求、处理响应、会话管理、Cookie处理以及处理文件上传和下载等方面提供了强大的功能，总的来说，就是：可能有的小可爱不是很能直观了解，今天，我们就一起来看看，requests库到底能做什么。
2023-06-30 16:57:01
264
原创 Python如何爬取想要的电脑的数据？全球HTTP代理应用
这里要提醒大家的是，如果你想要爬亚马逊这种平台，建议是要使用全球HTTP代理的，国内HTTP代理不好使。618要来了，不买点啥总觉得少了点什么，正好我用了5 6 年的电脑想换，这可不就来活了嘛！全球HTTP代理我不是很建议用国外品牌的，毕竟人家老家就是国外，而且人的工作机制在那，万一有点什么问题，能给你当天回复算你运气好。不过以我的经验来看，618并不是在海外购物平台买东西的绝佳时机，这种除了官网日常做活动，还得看黑五这种。国内的无非就是那几家，挑几家看看价格，然后选你心理价位最合适的就OK。
2023-06-17 17:01:32
595
原创 SSL 延迟 https 比 http 慢怎么办？
随着越来越多的人使用互联网进行敏感数据传输，网站安全性变得至关重要。为了保护用户的隐私和数据安全，许多网站采用了HTTPS协议，即在传输过程中使用SSL证书进行加密。尽管HTTPS提供了更高的安全性，但它也会带来一些问题，比如：那，我们今天就来说说，为什么SSL延迟HTTPS比HTTP慢？根本原因在于SSL加密和解密过程的复杂性。当用户访问一个使用HTTPS的网站时，浏览器和服务器之间的通信需要进行加密和解密操作，以确保数据的安全传输。这个过程需要消耗计算资源和时间，从而导致了一定的延迟。
2023-06-09 17:18:11
281
原创 如何挑选合适的海外HTTP代理？海外IP哪家强
类似netnut是100美元/月，这种，乍一看单价确实低，但是直接总价就是600+，所以还是得参考一下自己的需求和应用。至于芝麻代理里面的全球HTTP代理，使用的是ipidea的资源池，豌豆代理里面的全球HTTP代理，也替大家看过了，点击跳转的是smartproxy。netnut是100美元/月使用100GB，也就是6.7元/G，门槛相对于bright data是会低一点，不过也还是蛮高的。大家熟知的bright data，得500美元一个月，相当于11.48美元/G，换成现在的汇率，得80.7元/G了。
2023-05-20 16:05:51
4686
原创 为什么使用了HTTP代理还是被拒绝访问？
这种常见于那种没什么资质，或者价格过于便宜的厂商，总的来说，HTTP代理这种玩意实际上也是由一定成本的，你用那种连广告都做不起的，隐患可比广告铺满天的隐患大。有钱搞，那有钱维护吗？毕竟现在是数字时代，数据采集做商业分析已经是一个非常非常常见的商业行为了，只要你在目标网站的底线内，人家确实可以让你采，但是你要是过了，比如：短时间内疯狂访问，目标网站一整个就被搞崩溃了，连普通的，目标网站的真正用户都使用不上，断人财路，好比那啥。那不封你，难道封我吗？1.找靠谱点的HTTP代理商，如何找，往前翻，我上面说了。
2023-05-19 17:40:31
308
原创 python写的爬虫，抓取百度的搜索结果，被屏蔽了怎么办？
某乎上有个热门话题，引起了很大的讨论。这个问题通常是由于频繁的请求导致百度的反爬虫机制触发了验证码的保护机制。解决办法无非是那几套流程走一遍。
2023-04-08 17:27:36
1321
原创 python 爬虫SSL错误是怎么回事？
我们检查一下我们的请求是否正确，并且确保请求的 URL 返回的是 JSON 格式的数据。解决办法人家也说了，更新一下版本，提醒你一下，如果是使用Linux操作系统，看看484安装了正确版本的OpenSSL库。1.这个错误很可能是因为你正在尝试读取一个 JSON 格式的响应，但是实际返回的却是 HTML 格式的响应。2.你用的是标准库ssl模块，那可能确实和前面那位uu说的一样，可能是底层OpenSSL库的问题有关。这些确认后，问题还是存在，就检查SSL证书的有效性和正确性，看程序有没有正确配置和使用证书。
2023-04-08 17:19:34
785
原创 HTTP代理如何爬取？保姆式教程（附测试视频）
在网络爬虫的应用中，HTTP代理的使用是常见的技术手段之一。通过使用HTTP代理，爬虫可以模拟不同的访问来源，避免被目标网站识别出爬虫行为，从而提高爬虫的成功率和效率。那么，如何爬取HTTP代理呢?
2023-03-02 17:06:06
365
原创 python 爬虫 ip池维护思路
同时，如果HTTP代理池中存在较多已失效的HTTP代理，证明这个池子的IP可用率已经极低了，还是会更建议大家伙使用优质厂商提供的HTTP代理。正常情况下，很多人会说随着经济下行，能有使用的就已经不错了，还谈什么自行车，且不谈免费的HTTP代理的连通性，实际上只要选对HTTP代理，采购的成本也会在我们的承受范围内的。当然，我们选择HTTP代理厂商都是基于各自业务的场景需求，不同场景所需的HTTP代理产品也不同，但各位可以测试了看看，所有的产品都要最红应用到自身，才能知道效果如何。动态短效HTTP代理。
2023-03-02 14:25:42
407
原创 隧道代理如何测试访问网站的响应时间？
以上，就是隧道代理如何利用使用curl命令进行测试访问网站的响应时间，归根结底，目前市面上比较好使的HTTP代理，响应时间如果保持在100ms左右已经可以算是优秀了。1.按下“Win+R”，打开运行界面，然后输入“cmd”然后回车确认打开字符界面。以HTTP隧道代理为例进行测试，测试的目标站为“实际上手卡到妈都不认识（不针对截图这家厂商）
2023-02-16 16:14:24
209
原创 如何实现通用爬虫并检测可用性？
我们可以先从数据哭中获取所有的HTTP代理，然后从HTTP代理列表中，检查HTTP代理的可用性，如果HTTP代理不可用，让代理分数-1，如果代理分数=0，就从数据库中删除该代理，否则更新该代理，如果代理可用，就恢复该代理的分数，更新到数据库中。其次，把检查一个代理可用性的代码，抽取到一个方法中，从队列中获取HTTP代理，进行检查，检查完毕，调度队列的task_done方法；我们的目标：根据配置文件信息， 加载爬虫，抓取HTTP代理，进行校验，如果可用，写入到数据库中。
2023-02-14 18:22:30
517
原创 自己要怎么做一个隧道代理？隧道代理搭建教程
众所周知，隧道代理比动态短效代理贵，但是因为其产品特性，确实也更好用更方便，那我们要如何自己搭建起来隧道代理呢？说来也不复杂，按照我说的方法，即可搭建起来隧道代理。
2023-01-07 16:09:46
1324
原创 动态共享ip_共享ip地址_代理ip地址共享
优质的动态共享ip采用随机五位端口，每天可用的IP数量超过50万个，1次可提取最大IP数量为100个；动态共享IP有多个用户同时使用它，IP不支持用户自主释放，由系统控制释放；高效打破业务重复带来使用成功率问题。代理ip地址共享使用非常方便，只需几分钟，您就可以通过API接口获取代理IP并参照代码样例集成到您的程序中。动态共享代理支持按时和按量付费两种模式，动态共享IP成本低，在满足用户需求的前提下，您可以结合自己的业务场景选择效率最高、成本最低的购买方式。[共享ip地址优势]★高带宽速率（访
2022-03-10 10:33:47
1318
原创 试用免费代理爬取
一般入门爬虫码农采用免费，但要确保工作效率还是去找合适的付费品牌。免费找的时间和测用的时间就要花掉很多，就算自己写个爬虫爬取代理IP放进自己的“池子”而后再来测用到最后爬取成功，这也只能适合少量个人用。爬虫用户自己是没有能力维护一系列的代理服务器和代理IP的，这个成本实在有点高了。 所以公用代理服务器应运而生,现在几大云服务商家都提供代理IP服务，一般论个买...同时网上也有很多代理IP共享网站，会把一些免费的代理IP放出来给大家用。 大家都是做爬虫的，那么，是不是可以先把代理IP网站的数据爬一遍？
2022-03-09 16:20:59
485
原创 Python代理ip代码示例
隧道代理和其他代理ip也有共同点优势比路由器更容易配置，可以在工作过程中生成各种记录，工作在应用层，可以对各种数据进行检查，按照一定的准则，生成各种日志、记录。除此之外，代理IP还能对数据内容进行过滤，灵活甚至完全控制进出流量和内容，为用户提供透明的加密机制。进行http请求，我们一般使用requests库，该库支持http/https代理。 安装如下pip install requests如果需要使用socks5代理，可以安装支持socks的版本pip install 'requests
2022-03-03 14:22:10
2527
原创 代理ip如何解决爬虫封禁
1、放慢抓取速度，减小对于目标网站造成的压力，但会减少单位时间类的抓取量。2、使用代理IP，使用代理IP之后可以让爬虫伪装自己的真实 IP。对于python爬虫来说，有时业务量繁重，分布式爬虫是最好的提升效率方式，而分布式爬虫又急切需要数目众多的IP资源，这一点免费IP是满足不了的，所以对于免费代理，真的不用考虑了，其IP可用率能超过 10% 就已经是谢天谢地了，使用这种质量的IP资源简直苦不堪言。这个路由重新开机就没有了。可以routeadd-pIP地址mask子网掩码默认网关。即便不小心重
2022-03-02 11:42:30
235
原创 socks5代理怎么用？如何使用？
SOCKS5代理不会重写数据包的标头，并结合了TCP和UDP协议。Sock5代理服务器是把你的网络数据请求通过一条连接你和代理服务器之间的通道，由服务器转发到目的地。Proxifier是一款功能非常强大的socks5客户端，可以让不支持通过代理服务器工作的网络程序能通过HTTPS或SOCKS代理或代理链。支持 64位系统，支持Xp，Vista，Win7，MAC OS ,支持socks4，socks5，http代理协议，可以指定端口，指定IP，指定域名,指定程序等运行模式，兼容性非常好。有点类似SOCKS
2022-02-23 16:36:10
4294
原创 自建隧道代理
隧道代理可自动变更，免去频繁更换代理的麻烦，仅需一次性配置一个代理IP，其它变IP工作由隧道自动完成。假设你从免费代理手上拿到一些池子，当然你也可以用爬虫程序自己爬找出后测试筛选可用的，直接在浏览器上面请求，页面效果如下图所示：现在，你需要做的就是写一个程序，周期性访问这个 url，拉取当前最新可用的 IP 地址，然后把它放到 Redis 中。这里，我们使用 Redis 的 Hash 这个数据结构，其中 Hash 的字段名就是IP:端口，里面的值就是跟每个 IP 相关的一些信息。你这个程
2022-02-22 15:57:27
12555
2
原创 动态ip原理
所谓动态是指每次上网时，运营商会随机从池子中分配一个IP地址，动态ip池子因不同服务机构质量有所不同，透明一般是在免费代理中出现，而不同透明度还是有相应区分。代理IP的匿名度：匿名：知道使用了代理，但是不知道真实的IP高匿：服务器不知道使用了代理，也不知道使用了假的IP，但是爬取或用了一段时间或深度会被终端识别。深度高匿：服务器不知道使用了代理ip，爬取了多个页面同个代理ip还能继续高效工作。市面上还听说有朋友用过的是混淆ip，这种如果是付费服务商良心坏坏的。代理类型主要取决于代理服务器端的
2022-02-21 15:55:53
1987
1
原创 如何在ubuntu18.04系统中切换python版本
在ubuntu18.04系统中如何切换python版本呢？本文给出详细说明。1.查看python所在目录whereis python2.添加python-listupdate-alternatives --install /usr/bin/python python /usr/bin/python2.7 1update-alternatives --install /usr/bin/python python /usr/bin/python3.6 23.查看python-l.
2022-02-18 15:09:41
3725
1
原创 解决Windows系统无法刷新DNS解析的问题
1.鼠标右键点击桌面上的“此电脑”，右键菜单选择“管理”点击进入。2.点击左侧“服务与应用程序”然后选择“服务”选项。3.找到“DNS Client服务”双击打开服务，将启动类型设置为“自动”，点击服务状态下的“启动”然后再点击“确定”。...
2022-02-18 15:04:19
1803
原创 反向代理搭建隧道
首先以服务器系统为Ubuntu18.04为例由于SSH在一段时间没有数据包之后会断开，所以最好直接使用autossh来配置反向代理。（以下操作均在内网进行，而且我采用的是在root账户进行操作）首先是安装autossh：我在服务器上重装的是Ubuntu18.04，可用以下命令进行安装apt-get install autossh然后添加我们的内网机器的ssh-key到公网以实现自动登陆：ssh-copy-id <公网机器A的登陆用户名>@<公网机器的ip地址>。
2022-02-18 09:27:25
624
原创 隧道代理有哪些优势
隧道代理用户无须更换IP，隧道代理会将用户发送的请求转发到不同的代理IP，转发周期可按需指定。通过将请求转发到不同的代理IP实现IP不断更换。隧道代理使用更加简单。您无需通过API提取代理，只需设置1个固定代理，每次请求都会转发到不同的IP。隧道代理适合对代理稳定性和品质要求高，希望代理自动切换IP的客户。隧道代理本质上是高速HTTP隧道，通过将请求转发到不同的代理IP实现IP不断更换。相比传统代理服务器，隧道代理使用更加简单。您无需通过API提取代理，只需设置1个固定代，每次请求都会转发到不同的IP。
2022-02-17 15:06:53
458
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人