- 博客(44)
- 收藏
- 关注
RSS订阅原创 搜狗浏览器中如何设置HTTP代理
4、点击确定，跳转至“自定义代理”界面，勾选刚设置的代理选项即可使用。2、点击添加新代理进入“代理设置”界面。3、填写代理名称及代理地址和端口。
2023-03-13 16:04:53
503
转载 如何利用http代理收集有价值的数字藏品
现如今，数字藏品越来越受到收藏家们的青睐，它不仅具有收藏价值，而且还具有投资价值。然而，很多收藏家发现自己无法获得有价值的数字藏品，因为它们往往不易获得。 在这种情况下，http代理技术可以帮助收藏家收集有价值的数字藏品。http代理技术可以通过将收藏家的IP地址替换成其他的IP地址来帮助收藏家获取有价值的数字藏品。这样，收藏家就可以使用其他地区的IP地址来访问一些有价值的数字藏品，而不会受到地区限制。 另外，http代理还可以帮助收藏家保护其隐私。由于http代理可以将收藏家的IP地址替换成其他的
2023-03-13 15:34:11
217
转载 反爬虫的四种常见方式-JS逆向方法论
因为我们已经在陷阱里面了，所以要刷新页面，JS的运行应该停止在设置的断点处，此时该函数尚未运行，我们在Console里面重新定义它，继续运行就可以跳过该陷阱。首先把Chrome浏览器保存的该网站的cookie删除，按F12到Network窗口，把“preserve log”选中（Firefox是“Persist logs”），刷新网页，这样我们就可以看到历史的Network请求记录。JS会响应链接被点击的事件，在打开链接前，先访问cl.gif，把当前的信息发送给服务器，然后再打开被点击的链接。
2023-03-10 15:26:03
2091
转载 数据采集时，网络爬虫如何借助HTTP代理突破反爬限制
1.公共HTTP代理：公共HTTP代理是免费的HTTP代理，但是其质量无法得到保障，有可能会被其他爬虫或者恶意程序占用，被封禁的概率比较大。5.使用付费HTTP代理：付费HTTP代理的质量通常比免费HTTP代理更好，使用付费HTTP代理能够更好地保护爬虫的隐私和安全。2.HTTP代理的质量：需要选择质量较好的HTTP代理，避免使用低质量的HTTP代理，否则会影响爬取效率和结果的准确性。2.私人HTTP代理：私人HTTP代理是付费的HTTP代理，相比于公共HTTP代理，其质量更有保障，但是价格相对较贵。
2023-03-10 15:21:14
965
原创 python多进程中多个参数函数的使用
1、在多参数函数，如果只想在多进程任务中依次取一个参数可迭代对象中的每个值，其他参数是固定的，使用偏函数来构建单参数函数。2、不要用lambda函数代替偏函数，否则会报局部函数不能序列化的错误。以上就是python多进程中多个参数函数的使用，希望对大家有所帮助。
2023-03-10 15:20:22
615
原创 python zip_longest和zip的比较
1、zip返回的结果以最短的序列为准，zip_longest以最长的序列为准。2、如果zip_logest遇到长度不一致的序列，缺少部分会填充None。实例以上就是python zip_longest和zip的比较，希望对大家有所帮助。
2023-03-09 10:57:54
163
原创 python __dict__的使用注意事项
3、用类对象调用__dict__将输出由所有实例方法、类属性和类方法组成的字典。以上就是python __dict__的使用注意事项，希望对大家有所帮助。2、若使用实例对象调用__dict__，则输出由所有实例属性组成的字典。1、__dict__是属性，不是方法。
2023-03-09 10:56:45
94
1原创 2023.3.8国内免费100个HTTP代理IP
浙江省杭州市 阿里巴巴网络有限公司BGP数据中心(BGP)浙江省杭州市 阿里巴巴网络有限公司BGP数据中心(BGP)浙江省杭州市 阿里云BGP数据中心。浙江省杭州市 阿里云BGP数据中心。浙江省杭州市 阿里云BGP数据中心。浙江省杭州市 阿里云BGP数据中心。陕西省西安市 西安电子科技大学。辽宁省大连市甘井子区 方正宽带。北京市 阿里云BGP数据中心。上海市 阿里云BGP数据中心。北京市 阿里云BGP数据中心。北京市 阿里云BGP数据中心。福建省南平市武夷山市 电信。福建省南平市武夷山市 电信。
2023-03-08 11:07:15
67575
原创 python爬虫代码中二分查找是什么原理
2、如果相等查找成功，若不等，大于则只需在后半部分查找，小于则需在前半部分查找。1、将中间标值mid的元素e取到数列中，进行查找元素key的比较。以上就是python爬虫代码中二分查找的原理，希望对大家有所帮助。
2023-03-07 10:48:44
81
原创 python爬虫字符串中变量的使用实例
1、为了在字符串中插入变量值，可以在前引号前添加字符f，然后将要插入的变量放入花括号中。当Python显示字符串时，每个变量都被它所取代。以上就是python爬虫字符串中变量的使用方法，希望对大家有所帮助。2、这种字符串被称为f字符串，f是format的简写。
2023-03-07 10:47:51
401
原创 python爬虫代码中字符串如何添加删除空白
以上就是python字符串添加删除空白的方法，希望对大家有所帮助。空白一般是指任何非打印字符，如空格、制表符和换行符。
2023-03-07 10:46:18
922
原创 三种方法快速搞定Python爬虫应用中的判断回文数
Python判断回文数可以先从控制台输入一个五位数，先判断是否是五位，是否是纯数字组成，如果是回文数就会打印“是回文数”，如果不是就会打印“不是回文数”，下面通过三种方法看下python如何判断回文数。input()函数输入的数据的类型是str，str是有序的，所以可以对str切片操作，并取逆序的结果，将逆序的结果与原来的str做比较。通过整除，求模的算数运算得到各位上的数字，再通过比较前后对比（个位与万位，十位与千位做对比）通过输入的字符串进行索引取值，前后进行对比。
2023-03-06 11:03:27
387
原创 实例说明Python爬虫应用中tail -f如何实现
2、读取全文后获取最后10行的性能并不高，后滚10行的边界条件也很复杂。先获取全文，再得到最后10行的实现。1、tail-f默认先读取最后10行数据，然后从文件末尾读取实时数据。如果是小文件，可以先读取所有文件内容，输出最后10行。
2023-03-06 10:57:27
190
原创 python爬虫应用中运算符的结合性探究
2、在表达式中包含相同优先级的操作符时，结合性地确定哪个操作符首先参与操作。以上就是python运算符的结合性探究，希望对大家有所帮助。如果运算符的结合性为右，那么右边的运算符先参与运算。若操作符组合为左，则左边的操作符首先参与操作。1、每个操作符都有固定的结合性。
2023-03-06 10:54:51
129
原创 python爬虫如何使用get()访问字典值
1、一般访问字典中的键值作为索引引用值，但会出现问题。如果访问的键值不在字典中，就会出错。2、可以通过get()访问键值对，当键值对不存在时，将返回默认值，可以指定这个默认值。
2023-03-03 14:20:13
354
原创 python爬虫中字典遍历所有的键值对
1、通过调用字典的items返回一个键值对列表，然后使用key和value变量分别接收列表数据中包含的键和值。2、最后通过key和value变量在for循环中逐个访问键值。
2023-03-03 14:19:13
721
原创 python爬虫字符串的驻留机制是什么
2、在后续创建相同的字符串时，不会开辟新的空间，而是将字符串的地址赋予新创建的变量。1、只保存一个相同且不可变的字符串，不同的值存储在字符串的停留池中。python的停留机制只保留一份相同字符串的副本。
2023-03-03 14:16:49
122
原创 python中setdefault()在爬虫代码中的应用
2、新键的键值由参数default指定，返回值为键名对应的键值，如果没有指定键值，返回值为None。1、参数key表示键名，如果键存在，将返回键对应的键值，否则将添加新的键值。
2023-03-02 11:30:25
335
原创 爬虫代码中python查询键值对是否在字典的三个方法
我们一般做键值的查询，会选择in或not in来操作，本篇还要介绍三种新的查询方法，下面大家一起来看看吧。2、values()方法用于返回字典中所有键对应的值（value）。3、items()用于返回字典中所有的键值对（key-value）。1、keys()方法用于返回字典中的所有键（key）。
2023-03-02 11:03:40
887
原创 爬虫代码中python集合的底层实现
1、集合类型的底层实现基于哈希表，键的输出顺序，取决于键在哈希表中的存储顺序。2、集合中键的数据类型必须是静态数据类型，如简单数据类型、字符串和元组。集合类型与字典类型相同，是基于哈希表的数据结构。
2023-03-02 11:00:28
231
原创 爬虫代码中Python中time模块的方法整理
time.strftime()#将元组时间转换为字符串形式。4、time.localtime()将时间戳转换成元组。time.strptime()#将字符串转换成元组。time.mktime将时间元组转换为时间戳。2、time.sleep程序暂停三秒钟。1、时间戳time.time当前时间。3、time.ctime当前时间。显示当前时间的详细信息。
2023-03-01 13:23:23
620
原创 Python解析器如何在爬虫代码里搜索模块位置
在system模块的sys.path变量中存储模块搜索路径。变量包括当前目录、PYTHONPATH和由安装过程决定的默认目录。2、如果不在当前目录中，Python将在shell变量PYTHONPATH下搜索每个目录。在UNIX下，默认路径一般为/user/local/lib/python/。3、如果找不到，Python会查看默认路径。1、先找到当前目录。
2023-03-01 13:23:04
217
原创 爬虫代码中Python中random模块的方法整理
3、randint在两个参数之间产生一个数字，左右两个参数都可以获得。2、randrange在前两个参数范围内产生一个数字。1、random产生0~1之间的随机小数。choice随机选择列表中的元素并返回。不包括第二个参数，第三个参数是步长。shuffle打乱列表中元素的顺序。
2023-03-01 13:19:40
412
原创 python的sort()排序方法
先定义一个方法，这个方法就是来返回第一个数的，比如，我们传递第一个元素过去。一样这个是一个比较简单的写法，我们当然可以先顶一个函数。可能我们需要按按照没个元素的第一个数值的大小进行排序。如果第I个元素是I，我们希望通过I[0]进行排序。然后，我们使用强大的sort()函数。然后，我们就得到我们想要的了…[2,3],我们得到的是=>2。现在我们想按照name进行排序。
2022-10-18 10:32:38
763
转载 python中少见的函数map()和partial()
partial()函数是另外一个python的内建函数 ，这个的内建函数其实是非常好用的，比如我们常用的函数add(), 我们可以把某个数+100 ，也可以把某个数字+1。这样，从函数名称我们就知道加了多少了（这个add函数就是个例子哈，平时真没必要）有点小题大做的感觉，map就是解决这个问题的。而这个partial函数让我们可以这么来使用。
2022-10-17 14:35:37
135
转载 python中的去除重复项的操作
set是一个工厂函数，它会返回给你一个没有重复项的集合，非常方便的帮我们去除重复函数。其实，我们有更简单的方法，python已经内置了这种解决方式，那就是set。
2022-10-17 14:23:49
2710
原创 宽带经常掉线应如何解决
有朋友经常问，家里宽带不知道为什么，上网好好的经常掉线，游戏玩的好好的突然掉线，然后被系统判定为逃跑，又被队友举报，那么为什么家里的宽带会经常掉线呢？当然，我上面所描述的都是一些平时常见的简单问题，还有很多比较复杂情况，就需要找专业人士来解决了。我们再接入宽带的时候，进行选择大厂宽带，一般选择中国电信，不要选择小众宽带服务商，非常不稳定。6、家中占用网络带宽的设备过多，导致带宽被占用导致。2、检查防火墙设置，有时候很有可能是防火墙防护级别过高导致，我们可以根据自己的实际情况进行适当调整。
2022-10-14 11:00:52
5603
转载 QQ浏览器如何设置HTTP代理
3、在弹出的“局域网LAN设置”中，代理服务器的复选框打上勾，并填写从流冠代理获取的ip地址及端口。1、打开QQ浏览器，点击“工具”，然后点击下拉中的“Internet选项”2、弹出Internet选项窗口、点击“连接”，点击“局域网设置”
2022-10-13 09:45:34
713
原创 为什么使用HTTP后不能上网了
在使用完HTTP之后，有的用户可能会遇到这样的问题：明明网络正常，为什么我的浏览器不能打开网页了?今天华科云商HTTP就给大家说下具体解决方法。不管用的哪个浏览器设置的代理服务器，都可以通过IE浏览器“设置”下的“Internet选项”来解决问题。3、在弹出的“局域网LAN设置”中，勾去“为LAN使用代理服务器”，点击确定，即可解决问题了。1、先打开浏览器，点击右上角的“工具”图标，然后点击下拉中的“Internet选项”。2、在弹出的Internet选项窗口中，点击“连接”，点击“局域网设置”。
2022-10-12 09:44:09
1404
原创 centos系统拨号错误代码217如何解决
1、一般出现错误代码217都是因为宽带故障导致，在宽带正常没有欠费的情况下出现，即可判断为WINDOWS系统状态下的691，那么可以跟691的情况一样处理，即联系电信客服清除在线记录即可解决。很多朋友平时因为业务需要，VPS会选择使用centos操作系统，但是使用时间久了经常会出现无法拨号的情况，提示错误代码217，那么这个错误是什么意思呢？2、可能是因为VPS长期运行，导致卡死，只需重启机器或者重新安装操作系统，根据上面的配置拨号的教程重新配置拨号即可解决。开始进行pppoe拨号具体如图操作。
2022-10-10 10:08:56
1218
原创 服务器的丢包率一般与什么有关
日常中我们自己上网总是觉得打开网站很快，下载速度很快，本地网络应该非常好，其实这种情况只是相对的，有的时候网络环境对于不同的网站和不同网络数据传输，其反馈的数据包也是不一样的，举个非常简单的例子，本地网络1000M移动网，速度非常的快，但是经常会打不开某些特定的电信网站，这就是本身网络节点优化不好，网络不稳定导致的。我们平时使用服务器的时候，经常会出现丢包严重的现象，有的时候明明感觉网络非常稳定，但是就是找不出丢包的原因，那么很有可能是以下的情况导致的丢包率偏高。一、服务器租用并不是价格越高越好。
2022-10-09 12:44:00
1318
原创 远程连接服务器速度慢应该如何解决
情况二：服务器IP延迟大，网关IP延迟正常。多半是服务器本身问题，可能是带宽跑满、服务器负载过大等原因，建议进服务器自行查看资源使用，或联系服务器运营商帮助解决。情况一：服务器IP和网关IP延迟都较大，则可能是线路问题，建议提交网络类工单联系技术排查。2、其次，ping远程服务器的网关IP，对比延迟是否正常。1、首先，ping远程服务器IP，看延迟是否正常。
2022-10-08 10:19:25
3116
原创 动态拨号云服务器安装Ubuntu系统使用说明
通过pon dsl-provider命令拨号后，ifconfig可以查看到拨号ip地址，需要注意的是：pon dsl-provider拨号后，立马使用ifconfig是查看不到ppp0拨号信息的，原因是拨号后有一个短暂的延迟，可以略微几秒后，通过ifconfig即可查看到拨号后的ip信息。与Centos系统不同的是，拨号命令的变化，拨号不再是pppoe-start，而是pon dsl-provider，断网命令则是poff dsl-provider。可用putty、Xshell等工具进行远程连接。
2022-09-30 14:11:46
319
原创 Curl命令查看请求响应时间信息
ime_connect： client 和 server 端建立 TCP 连接的时间，此连接时间从开始到建立TCP连接完成所用时间,包括前边DNS解析时间，如果需要单纯的得到连接时间，用这个 time_connect 时间减去前边 time_namelookup 时间。到 web server 响应第一个字节的时间。time_namelookup： DNS 解析时间,从请求开始到 DNS 解析完毕所用时间，单位为秒。到 web server 发送回所有的相应数据的时间。
2022-09-29 10:16:32
3548
原创 云服务器的好处有哪些
云服务器使用的话拥有两种计费方式，满足各种客户不同应用不需求，包年、包月，适合资金不足，需要资源的用户，按需收费，极大的节省了建站的成本。更多关于云服务器的知识，推荐阅读：怎么判断云服务器的性能。云服务器的所在地域性广，丰富的地域性为客户所拥有的业务保驾护航，三大地域覆盖全国内的业务需求。对于境外的也满足国外的需求。基于成熟的虚拟化技术，提供将近百分百的服务可用性，提供各种类型，性能不同强度的服务器。各大服务器服务商机器网络都是支持国内所有主流网络宽带的，覆盖全国性的网络，网络互通的问题也有所改善。
2022-09-28 17:03:15
379
原创 拨号ECS和拨号VPS的区别
VPS受外界影响因素太大，不管是机房问题也好，还是运营商那边问题也罢，也有可能供电公司那边的因素等，时长会导致某个地区机器故障，想必各位小伙伴也遇到过这种问题，而且VPS一旦出问题，快则三两个小时，慢则数天也无法恢复，更为头疼的是机器远程不上，机器内部的资料无法取出，导致用户只能长时间等待恢复通知。它上面有选择出口ip的选项，如果你现在所选择的城市为A，如果想换到B，直接选择省份地区，点击切换，再在机器内部断开宽带进行重连，ip就变了，而且最为重要的是，机器的所有信息，包括远程信息、宽带信息，都不会变。
2022-09-28 09:36:59
1049
原创 linux下派克斯(PacketiX)安装教程
3，创建连接 * 创建连接（‘duoip’是连接的名称，‘yz.yun.hahado.cn:15555’是Server的公网IP和映射的端口，‘HUB’是Server上的虚拟HUB名，‘duoipnetvmcfm’是Server上的用户，剩下的则是本地的虚拟网卡名称 ）设置用户密码和密码认证方式（‘duoip'是刚刚创建的vpn连接名称，7nui0MiqeIEbC是Server上用户的密码。输入2，回车，出现如下提示，输入localhost，回车，既进入了Client的命令管理模式，具体的操作命令见。
2022-09-27 09:58:13
891
转载 隧道代理的一般用法
利用扩展的验证协议(EAP)，层2隧道协议可以支持多种验证方法，包括一次性密码(one-timepassword)、加密计算器(cryptographiccalculator)和智能卡等。第三层隧道协议也支持使用类似的方法，例如，IPSec协议可以通过ISAKMP/Oakley协商确定公共密钥证书的有效性。第二层隧道协议支持多个负载数据协议，因此隧道用户可以访问多个协议，如IP、IPX、NetBEUI等企业网络。而像IPSec隧道模式这样的第三层隧道协议只能支持使用IP协议的目标网络。
2022-09-26 11:04:54
259
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人