- 博客(39)
- 收藏
- 关注
RSS订阅
原创 如何运用代理IP在大数据时代
大数据时代常常通过某一个或者几个特征信息，输入到电脑软件中，就能找到该目标任务的信息。有的时候他们会使用其他ip地址，使得被查看人无法追踪，现实中这样你只能使用代理ip了，不过这样的影视反应恰恰说明了一点，人类已经走进了大数据时代，这种时代的反映已经渗透到各个行业，不断形塑新业态。任何科技手段都只是工具，能否找到最合理使用方法，关键在人。既不能敌视工具，也不能唯工具论，以大数据应用包打天下。要成为...
2019-07-18 16:22:33
743
原创 自己搭建的百万级爬虫代理IP池,老板给我加薪了
最初的想法是使用Redis作为代理服务器资源队列，一个程序自动获取星星代理API提供的代理，验证可用后push到Redis里，每个程序再从Redis中pop一个代理进行抓取，但这样的缺点是不太好控制每台爬虫服务器的代理质量，有的代理速度快，有的速度比较慢，影响抓取效率，其次就是需要自行维护一套代理验证、分配的程序，增加了代码量，不便后期维护。减少了我们多余的验证步骤。以前尝试过自己抓取网络上免费代理IP来搭建代理池，可免费IP质量参差不齐，不仅资源少、速度慢，而且失效快，满足不了快速密集抓取的需求。
2023-04-23 11:19:38
252
原创 最全的数据查询网站
最全的数据查询网站1、国家数据——主要用户：社会情况研究人员国家统计局开设网站，公布我国各个领域的宏观经济情况，权威度高2、中国裁判文书网——主要用户：法律从业/学习/爱好者中国最高人民法院开设，权威可信，可用于查询国内裁判文书，可作数据统计来源3、中国互联网数据平台——主要用户：互联网研究人员经国家主管部门批准组建的管理和服务机构，经常发布一些有价值的互联网信息报告4、中国信通院——主要用户：互联网研究人员针对互联网多个行业的发展趋势，发布白皮书，角度较为宏观。...
2023-04-23 10:00:29
141
原创 一些信息安全知识的介绍，细看有惊喜
随着互联网技术发展，信息在互联网中存储、访问、交换传输等安全问题越来越关注了，如何做到信息的安全，PMBOK提出了很多系统体系、解决方案，我们可以学习借鉴它，结合现实中的生活、工作等自然知识，介绍一下信息安全的认识。 先看看安全空间的5大要素 ：认证、权限、完整、加密、不可否认。我们结合人与人交际的实例来理解一下吧。认证，即认识、证明，人与人之间交际要识别对方的身份，到底是自己的家人，还是自己的朋友，需要在自己的大脑记忆库中分辨识别对方，如果是熟人，则身份认证通过，可以互相交流，如果是生人，就拒绝交
2020-06-13 17:08:57
312
原创 怎么正确使用代理IP
很多网络营销的用户都知道，投票、注册帐号、发帖子等工作，都需要用到代理IP这个工具，才能毫无限制的操作。那么，怎么正确使用代理IP呢？代理IP就是换网页代理的服务器，主要是将HTTP协议所需要的端口更换。市场营销为了增加注册量或者点击量，都会用这个软件来避免IP被封。方便了很多营销人员的工作，甚至很多人的日常生活也离不开。代理IP使用时还是有不少要注意的地方，首先就是运行环境，一般的代理IP软件基本在win2003或winxp环境下运行，如果是Win7的系统可能需要安装虚拟主机，才能达到营销使用的目的。
2020-06-12 11:03:19
344
原创 IP端口号可以最大到多少个？
一个IP地址的端口可以有65536（2^16）个，端口号只百有整数，范围是从0 到65535（2^16-1）。端口有三个类型：公认端口（Well Known Ports）是众所周知的端度口号，范围从0到1023。动态端口（Dynamic Ports）范围是从49152到65535。之所以称为动态端口，是因为它 一般不固定分配某种知服务，而是动态分道配。注册端口（RegisteredPorts）范围是从1024到49151，分配给用户进程或应用程序。这些进程主要是用户选择安装的一些回应用程序，而不是
2020-05-13 15:52:45
14507
原创 浅谈代理服务器工作的原理
浅谈代理服务器工作的原理(1) 代理服务原理代理服务器有很多种，大体来说有http，ftp，socks代理三种，其中又分透明代理和不透明代理。其中透明代理一般是网关，是硬件。所以这里讨论不透明代理。当机器通过代理服务器上网时。通讯是分两次的，先是机器和代理服务器通讯，再是代理服务器和目的地址通讯。机器和代理服务器通讯时，目的IP是代理服务器的IP。代理服务器和目的地址通讯时，源IP是代理服务器的IP，当外部的数据也是一样的，在内网中，出现的IP数据，全是内网和代理服务器的IP。因此，从IP包头是看不
2020-05-12 10:06:41
1158
原创 代理IP的原理
原理讲解讲解各种代理IP背后的原理：知道代理IP的人越来越多了，不管是单纯的换IP，还是进行大量的数据采集，或者是游走于灰色之中，都是离不开代理IP这个工具的，但是很少人会关注各种代理IP背后的原理，今天就听小编来给大家普及下吧。一、代理类型代理IP一共可以分成4种类型。经常听说的透明代理IP，匿名代理IP，高匿名代理IP，还有一种就是混淆代理IP。最基础的安全程度来说呢，他们的排列顺序应该是这个样子的高匿>混淆>匿名>透明。二、代理原理代理类型主要取决于代理服务器端的配置。不同
2020-05-11 16:50:00
626
1
原创 社会小白，公司套路你懂多少
刚入社会的小白每个初入社会的求职者，都曾经有过找工作被坑的经历。总结了以下潜台词，如果你能全部get到，那么恭喜你，已被老板们拉入黑名单。核心「工资4k - 8k」——那工资就是4k「工资上不封顶」——就是说说而已，没人会给你一个月一百万月薪的「美女如云」——我司没有福利，你们员工自己互相给福利吧「大牛云集」——有两个稍微有点经验的程序员「需要你有一定抗压能力」——需要你自愿加班「...
2020-04-22 16:43:49
257
原创 写一段检查代理IP的代码
针对IP的检测写出了一段代码, 尝试运行一下挺顺，from urllib import request, errorfrom bs4 import BeautifulSoupimport reif name == ‘main’:url = 'http://ip.webmasterhome.cn/'# 使用代理的步骤# 1.设置代理IP,进入代理网站选择一个IP:PORTpro...
2020-04-07 17:13:12
255
原创 http/https/socks5协议的区别
平时看到很多不同用法的代理IP，而代理IP又分很多协议，那么真正有些什么区别呢？1、概念不同（1）socks5代理，采用socks协议的代理服务器，是一种通用的代理服务器。（2）http proxy，采用http协议代理服务器，主要代理浏览器访问网页。http和https协议现在已经通用。2、代理速度不同（1）http代理工作在应用层上，只允许用户通过HTTP协议访问外部网站。（2）S...
2020-04-03 09:49:17
2968
1
原创 SOCKS5代理和http代理有什么区别
1、概念不同（1）socks5代理，采用socks协议的代理服务器，是一种通用的代理服务器。（2）http proxy，采用http协议代理服务器，主要代理浏览器访问网页。2、代理速度不同（1）http代理工作在应用层上，只允许用户通过HTTP协议访问外部网站。（2）Socks5代理工作在会话层，不要求应用程序遵循特定的操作系统平台，Socks5代理只是简单地传递数据包，而不必关心是何种...
2019-12-31 10:53:25
4807
1
原创 如何通过ip追踪对方的虚拟地址
1.首先，我们在“开始“ 运行“输入cmd，之后打开cmd2.我们输入“tracert”加你要查的那个人的ip3.再输入“nbtstat”加ip 搜索不到主机因为对方在运行虚拟机vmware 下面显示的“wifi”和ip地址xxx就是你需要查的地址，0.0.0.0是因为对方没有开启ethernet...
2019-12-31 10:46:12
2163
原创 代理IP的主要作用
主要的功能有：1.突破自身IP访问限制，访问网站、淘宝网，公司网等。2. 数据采集，需要大量数据采集的时候需要通过不断换代理IP来采集数据。3.突破IP封锁：中国电信/移动用户有很多网站是被限制访问的，这种 限制是人为的，不同Serve对地址的封锁是不同的。所以不能访问时可以换一个国 外的代理服务器试试。4.提高访问速度：通常代理服务器都设置一个较大的硬盘缓冲区，当有外界 的信息通过时，同...
2019-12-29 10:49:19
181
原创 非常实用的一些网络知识
下面给大家介绍一些有关于网络的基础知识，希望能够加深大家对于网络的理解与认识，从而达到一个更好的上网体验。1） 如何查看本机所开端口：用netstat -a —n命令查看！再state下面有一些英文，我来简单说一下这些英文具体都代表什么LISTEN：侦听来自远方的TCP端口的连接请求SYN-SENT：再发送连接请求后等待匹配的连接请求SYN-RECEIVED：再收到和发送一个连接请求后等...
2019-12-29 10:47:04
186
原创 怎么查看自己电脑的IP地址 方法二
1，首先，点击Windows图标2，其次在框内输入控制面板，并按下回车3，在新界面中点击“查看网络状态和任务”4，再点击已链接的网络5，再点击“详细信息”6，最后我们就可以看到网络的详细IP配置信息了...
2019-11-28 09:43:50
247
原创 怎么查看自己电脑的IP地址
1,首先点击Windows图标2,然后在对话框中输入CMD，按下回车3,等进入命令窗口之后，输入:ipconfig/all ，按下回车即可看到着整个电脑的ip详细信息
2019-11-28 09:41:42
355
原创 获取高匿代理ip的想法思路
一、获取高匿代理IP思路注意事项做第二步之前你需要先找个地址url，用本机访问出来一个成功的页面，建议保留为html，作为后面使用，进行成功和禁用页面的对比，然后才可以高频访问此网站使你的电脑禁用。获取高匿的可用代理ip，可以用以下四个步骤：第一步：获取代理ip，比如UU代理，XX代理等一些代理IP网站爬取第二步：找一个容易禁止代理IP的网站，我选择是UU，进行高频率线程访问UU网，使U...
2019-11-06 10:15:47
760
原创 爬虫ip代理对高匿代理ip的重要性
对于爬虫来说，在听到ip代理的时候，听得最多的莫过于透明代理、匿名代理、高匿代理这几个词了，那么分别是什么意思呢？互相之间有什么样的区别呢？为什么说爬虫ip代理一定要使用高匿代理呢？带着这些问题，让我们一起来揭开匿名级别的面纱。第一高匿名：服务器不知道你使用了代理ip和不知道你真实ip第二匿名：服务器知道你使用了代理ip但不知道你的真实ip第三透明：服务器知道你使用了代理ip而且知道你真...
2019-11-06 10:10:25
633
原创 HTTP代理测试一段代码
上网不顺畅怎么办了，不知道为什么最近国内不能上sourceforge.net，不能上，上网都没意义了想到找代理来上，不过发现很多代理都不能用，逐个copy到浏览器测试，太累了，想到写一个小程序来测试代理的ip来源于网上，例如http://www.uu-ip.com/，复制到一个txt上面，然后用小程序批出来测试，可以连同的，把结果写到pass.txt上面程序是多线程的，所以速度很快，同时开他...
2019-11-06 10:07:12
527
原创 IP地址的构成
1、什么是IP地址？IP地址是人们在Internet上为了区分数以亿计的主机而给每台主机分配的一个专门的地址，通过IP地址就可以访问到每一台主机。IP地址由4部分数字组成，每部分数字对应于8位二进制数字，各部分之间用小数点分开，如某一台主机的IP地址为：211.152.65.112 。2、IP地址管理机构Internet IP地址由NIC（Internet Network Informat...
2019-10-22 10:07:51
1715
原创 IP地址分类
A类网络的IP地址范围为1.0.0.1－127.255.255.254；B类网络的IP地址范围为：128.1.0.1－191.255.255.254；C类网络的IP地址范围为：192.0.1.1－223.255.255.254。
2019-10-22 10:06:21
142
原创 如何查询IP 地址
第一种方法：点击你的电脑桌面左下角的“开始”–“运行” 在出现的文字框里面输入“cmd” 然后就会出现一个黑色的命令行窗口 在里面那行路径的最后一个符号“>” 后面输入ipconfig 然后会出现一堆东西 你找一下“本地连接” 下面有个IP address 后面的地址就是你的主机地址 具体情况如下：Ethernet adapter 本地连接: Connection-specifi...
2019-10-22 10:04:51
230
原创 静态IP地址与动态IP地址的区别是什么
1、动态IP需要在连接网络时自动获取IP地址以供用户正常上网，而静态IP是ISP在装机时分配给用户的IP地址，可以直接连接上网，不需要获取IP地址。2、动态IP：由于IP地址资源很宝贵，因此大部分用户上网都是使用动态IP地址的，比如通过Modem、ISDN、ADSL、有线宽频、小区宽频等方式上网的计算机，都是在每次上网的时候临时分配一个IP地址。3、静态IP：一般是特殊的服务器或者采用专线...
2019-10-19 14:05:43
3030
原创 IP切换器是做什么用的?
IP地址切换器，也称“网络配置切换器” 用于在不同网络环境下快速切换IP地址等网络配置。平时工作的时候经常遇到这样一个麻烦－－有时要使用公网IP有时又要使用内网的IP，而同时设置两个IP又会出现一些不方便的问题，于为了方便切换IP开发了这么一个精巧的IP切换工具，省下来回改IP的麻烦描述[编辑本段]经常使用笔记本的朋友都知道，有时需要经常走访客户或者在办公室和家庭等不同的场所使用笔记本，...
2019-09-27 10:13:37
1261
原创 怎么使用代理IP上网
可以下载一个加速器软件，我最近用的UU加速器软件很好用，IP量很多，连接速度也很快，尤其里面可以定时切换IP，省时间提高了工作效率，推荐你试试。首先你需要到网上找代理服务器ip和端口，一般搜索一下”代理ip“就能找到，然后按如下方法设置：打开浏览器-工具-Internet选项-连接-设置（S）如果你是局域网请选择底部的 局域网设置（L） -对此连接使用代理服务器（打钩），填上你找到的ip地址和端...
2019-09-27 10:11:07
4533
原创 免费代理IP介绍
代理IP即代理服务器，英文全称是Proxy Server。其功能就是代理网络用户去获取网络信息，形象的说，它是网络信息的中转站。 一般情况下，使用浏览器直接连接目标Internet站点获取信息，然后由目标站点服务器直接把信息传回。代理服务器则是介于客户端和Web服务器之间的另一台服务器，有了它之后，浏览器不是直接到目标站点获取信息，而是向代理服务器发出请求，由代理服务器从目标站点取回所需要的信息，...
2019-09-27 10:06:29
1969
2
原创 揭秘新网站快速收录排名的5个绝技
想必很多SEOer都会有这样的疑问，如何让新站快速收录排名？新站不收录内页？新站只收录首页等疑问？那么今天就结合最近的一些经验和大家揭秘一下百度内部算法关于新网站如何快速收录排名？新网站快速收录排名案例一、基本友好度1、空间速度和稳定性；2、网站的稳定性；3、百度蜘蛛是否能正常抓取；4、链接路径统一并做好301重定向；5、网站上线之后不能随便改动；二、大纬度策略1、网站主题匹配，...
2019-09-05 10:12:33
727
原创 代理IP服务器在网络世界中的角色
本文介绍代理IP的在网络世界里的角色和一些用途, 事物都有两面性, 同样的一个东西, 好人用来做好事, 坏人用来做坏事.代理IP的正能量的用途: 还是通过举例来说明1 校园里为了控制青少年上网查看内容, 提供绿色上网环境, 通过代理过滤和限制内容, 可以通过代理IP服务器实现.2 在直接或者某网站资源时候网络很慢, 可以通过某地区的代理IP服务器能实现网络加速.3 合法资源访问...
2019-09-05 10:10:37
252
原创 一些关于HTTP的基础，很有用的
对于应用开发工程师，我们无时无刻不在接触 HTTP 协议。为了更好的完成我们的应用开发任务，对于 HTTP 的透彻理解就显得必不可少了。这一篇就对 HTTP 协议做一个完整而透彻的讲解。HTTP 的发展是由提姆·柏内兹-李于1989年在欧洲核子研究组织（CERN）所发起。设计 HTTP 最初的目的是为了提供一种发布和接收 HTML 页面的方法。而后发展成为接受各种资源的方法。通过 HTTP...
2019-08-28 06:33:10
173
原创 怎么选用好的代理IP?
下面我们先了解什么是代理IP，然后再了解一下代理IP的种类一、什么是代理IP?代理IP又称代理服务器（Proxy Server）。是一种重要的安全功能，能起到防火墙的作用。形象的讲，代理服务器是网络信息的中转站，它是介于浏览器和Web服务器之间的一台服务器，有了它之后，Request信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。在日常生活中，我们使用IP代理...
2019-08-26 15:55:28
357
2
原创 API 注解
API 全称 Application Programming Interface,应用程序编程接口, 在这个项目中 API 的形式 是一个网址, 程序调用或者人工在浏览器打开网址, 返回的内容都是一样,并且都是相同的结果.网址的组成: 连接协议 + 服务器名 + 网址路径 + 参数列表.例如下面的网址 https://www.baidu.com/s?wd=IP&pn=90这...
2019-08-26 15:45:15
2768
原创 代理IP的作用有哪些？
主要的功能有：1.突破自身IP访问限制，访问网站、淘宝网，公司网等。2. 数据采集，需要大量数据采集的时候需要通过不断换代理IP来采集数据。3.突破IP封锁：中国电信/移动用户有很多网站是被限制访问的，这种 限制是人为的，不同Serve对地址的封锁是不同的。所以不能访问时可以换一个国 外的代理服务器试试。4.提高访问速度：通常代理服务器都设置一个较大的硬盘缓冲区，当有外界 的信息通过时，同...
2019-08-26 15:41:13
412
原创 测试代理
最近把各大代理平台挨个踩了一遍。整理一下。精灵：坑爹花样最多，收费明着乱来。但速度还行，性价比适中。项目利润可以的情况下，不计较那点开销出入的个人组织，可以用用。极光：价位比精灵高一点，收费实诚。标价贵一倍，但是长效IP在实际收费上最终支出还比精灵少。有提供有效性检测，理论上可以避免买到劣质IP（就为了这个特地尝试的），最后证明这功能也是来搞笑的。一会儿延时100，一会儿变3000+。最重要...
2019-08-12 17:43:18
858
1
原创 变IP的方式
1代理IP方式：&&&&&&&&&&&&&&&&&&&&&&&&&&& 有时间再写2 VPN 方式通俗讲述什么是VPN例如我家你家的电脑都在上网，我们的IP可能是不一样的，因...
2019-07-25 16:42:25
194
原创 代理IP 的匿名程度分类
透明代理、匿名代理、混淆代理、高匿代理, 这4种代理，主要是在代理服务器端的配置不同，导致其向目标地址发送请求时HTTP 头，REMOTE_ADDR， HTTP_VIA，HTTP_X_FORWARDED_FOR三个变量不同。1、透明代理(Transparent Proxy)REMOTE_ADDR = Proxy IPHTTP_VIA = Proxy IPHTTP_X_FORWARDED_F...
2019-07-25 16:38:45
624
2
原创 使用代理IP的好处有哪些？
代理服务器的好处防止攻击隐藏自己的真实地址信息，还可隐藏自己的IP，防止被黑客攻击。突破限制代理服务器还可以突破网络限制。比如局域网对上网用户的端口，目的网站，协议，游戏，即时通讯软件等的限制，都可以突破这些限制。（有些公司禁止员工玩游戏或上某些网站，这种情况就可以试试看代理服务器喽）掩藏身份代理服务器知识是黑客基本功，黑客的很多活动都是通过代理服务器， 比如扫描、刺探，对局域网内机器...
2019-07-20 10:06:17
709
原创 爬虫业务为什么选择HTTP更好？
作为一名爬虫工作者非常推荐使用HTTP代理IP，我们的互联网工作量太大，选用HTTP代理简单又快速。我个人推荐使用UU代理，UU代理是非常安全与稳定的代理，不仅可以保证个人信息安全，还可以满足不同业务使用IP数量的需求，安全省心。下面介绍一下使用HTTP的好处1.安全性对比在互联网的普及后，网络安全也是很大的问题。钓鱼软件、黑客攻击、恶意程序、网络诈骗等，导致了很多网民用户的经济财产损失。I...
2019-07-19 16:10:37
369
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人