- 博客(17)
- 收藏
- 关注
RSS订阅原创 学PYTHON的优势有哪些呢？
***python***入门的编程语言，相对于其他的语言来说更加易学、易读，非常适合快速开发，学习它的人也越来越多，它为什么有如此大的吸引力，下面我们就来谈谈学习python的理由。一、简单易学Python的语法非常接近自然语言(英语)，精简了很多不必要的分号和括号，非常容易阅读和理解。Python的语法从2001年的PEP8 style guide for Python开始就得到了很好的规范。 即使是编程初学者也能较为轻松地开始Python的学习旅程。二、可在任何平台上运行大多数流行编程语言，例如
2020-06-12 16:56:19
199
原创 学习PYTHON后,将来主要能做什么？
近年来，Python在大数据中运用的越来越广泛,在招聘网站上的人才需求也占去了大数据领域的半壁江山，那么学习Python大数据将来能从事什么岗位？那么，我们要先从Python所能从事的应用说起：Python是一种面向对象、解释型计算机程序设计语言。它有许多优点，最明显的是语法简洁而清晰和具有丰富和强大的类库。Python经常被称为胶水语言，这是因为它能够把用其他语言制作的各种模块很轻松地联结在一起。 简而言之，Python就是用来深度学习的一种编程语言。Python大数据专业能从事的领域有很多，如：Pyt
2020-06-11 17:44:16
367
原创 Python反爬虫的问题有哪些
***反爬虫***就是用任何技术手段阻止批量获取网站信息的一种方式一.为什么会被反爬虫a 网站爬虫浪费网站的流量b 数据是每家公司的宝贵资源二. 反爬虫的方式有哪些a. 不返回网页，如不返回内容和延迟网页返回时间b. 返回数据非目标网页，如返回错误页、空白页和爬取多页时均返回同一页c. 增加获取数据的难度，如登录才能查看和登录时设置验证码1.不返回网页首先，网站会通过IP访问量反爬虫，其次，网站会通过session访问量反爬虫。此外，网站也会通过User-Agent反爬虫。User-
2020-05-25 15:13:05
353
原创 爬虫在使用IP时，如何解决IP被封和IP限制呢？
方法一使用多IP代理：1.IP必须需要。2.在有外网IP的机器上，部署代理服务器。3.你的程序，使用轮训替换代理服务器来访问想要采集的网站。好处：1.程序逻辑变化小，只需要代理功能。2.根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。3.就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。方法二1 user agent 伪装和轮换2 使用代理 ip 和轮换3 cookies 的处理，有的网站对登陆用户政策宽松些方法三尽可能的模拟用户行为：1、Us
2020-05-15 18:08:04
476
原创 学习Python都用来干什么？
近年来，Python在AI和数据分析领域大展拳脚，今天我们来说说Python几个有意思的1 抢低价机票大家出去旅游或者留学生放假需要买往返机票的时候，为了买到最低或相对低价的票，常常需要下好几个手机App，或者连续几天不停登陆不同的网站来回比价！费时费力不说，有时候买完票发现还有更便宜的，这就很“蓝瘦”了。。。不过用Python（BeautifulSoup，Tinyurl，Googlevoice包）写个抓机票网站查询结果网页的程序，放到Amazon EC2的服务器上，每十五分钟抓一下网页的票价，低于
2020-05-14 10:17:57
343
原创 让你相见恨晚的Python库
一.PyTorch1.什么是PyTorch？PyTorch是最大的机器学习库，允许开发人员通过GPU加速执行张量计算，创建动态计算图，并自动计算梯度。除此之外，PyTorch还提供丰富的API，用于解决与神经网络相关的应用问题。这个机器学习库基于Torch，它是一个用C语言实现的开源机器库，带有Lua中的包装器。2. PyTorch的特点新的混合前端在急切模式下提供易用性和灵活性，同时无缝转换到图形模式，以便在C ++运行时环境中实现速度，优化和功能。通过利用对Python和C ++可访问的集合操作
2020-05-14 09:45:22
214
原创 代理是如何实现IP伪装的呢？
代理实际上指的就是**代理服务器**，它的英文叫作proxy server，它的功能是代理网络用户去取得网络信息。形象地说，它是网络信息的中转站。在我们正常请求一个网站时，是发送了请求给Web服务器，Web服务器把响应传回给我们。如果设置了代理服务器，实际上就是在本机和服务器之间搭建了一个桥，此时本机不是直接向Web服务器发起请求，而是向代理服务器发出请求，请求会发送给代理服务器，...
2020-05-05 10:23:35
815
原创 什么是独享IP呢？
独享IP是确保同一个IP同一时间只有同一个客户使用，确保业务的成功率与稳定性，相比于共享IP，同一个IP分配给多个不同用户使用的情况，具有更高的稳定性与连通率，有效率更高，但成本比共享IP略高。那么为什么住宅IP更适合爬虫采集呢？因为爬虫本身是模拟用户进行访问，使用跟用户一模一样的IP、网络环境是最理想的，机房IP有个特点，拨出来的IP都是连号的，极容易被整个号段封禁，导致可用率低，而住宅I...
2020-05-05 10:17:45
1917
原创 什么是独享住宅IP代理？
什么是住宅IP？住宅IP是ISP或ADSL提供商分配给个人用户的实际家庭住宅的IP地址，由100%的WIFI网络真实用户组成；家庭住宅IP是真实的用户设备IP，与普通网络用户使用的IP完全一致。 家庭IP具有不连号、散点分布、与普通网民分布一致的特点，相比于机房等IP，具有成功率更高，但是在维持稳定性上会略差，在爬虫采集、补量业务、SEO等需要大量短效动态IP的业务上，具有巨大的优势...
2020-05-05 10:16:35
907
原创 代理IP常用的功能有哪些？
1.突破IP自身的访问限制：现在有很多的网站都对IP的访问设置了限制，这时我们就需要代理IP进行突破来进入网站。2.提高IP的访问速度:通常代理ip服务器都设置一个较大的硬盘缓冲区，当有外信息市，则直接由缓冲区中取出信息，传给用户，以提高访问速度。3…隐藏真实ip来达到匿名的效果，可以通过代理ip上网，隐藏真实的ip地址，从而避免受到黑客攻击。4.突破ip封锁，例如要抓取一个网站的数据，但是...
2020-04-27 18:17:08
207
原创 IP代理的透明、匿名和高度匿名代理的区别
使用透明代理，对方服务器可以知道你使用了代理，并且也知道你的真实IP。透明代理访问对方服务器所带的HTTP头信息如下：REMOTE_ADDR = 代理服务器IPHTTP_VIA = 代理服务器IPHTTP_X_FORWARDED_FOR = 你的真实IP透明代理还是将你的真实IP发送给了对方服务器，因此无法达到隐藏身份的目的。使用匿名代理，对方服务器可以知道你使用了代理，但不知道你的真...
2020-04-15 11:47:55
405
原创 高匿名、匿名、透明代理它们有什么区别呢
HTTP代理按匿名度可分为透明代理、匿名代理和高度匿名代理。使用透明代理，对方服务器可以知道你使用了代理，并且也知道你的真实IP。透明代理访问对方服务器所带的HTTP头信息如下：REMOTE_ADDR = 代理服务器IPHTTP_VIA = 代理服务器IPHTTP_X_FORWARDED_FOR = 你的真实IP匿名代理隐藏了你的真实IP，但是向访问对象透露了你是使用代理服务器访问他们...
2020-04-13 10:55:16
270
原创 什么是代理IP，它又有哪些功能呢？
作为一个互联网工作者，在工作中难免碰到一些这样的问题：如果你是一名网络推广员，你可能会担心发帖太多导致IP地址被屏蔽;你参加了一个活动，担心投票数量不够排不到好的名次，毕竟一个IP只能投一票。你需要注册很多账号，可是你发现网站有限制，一个IP只能注册一个账号;你需要爬取一个网站的信息，可是你发现爬取几次IP被限制访问了……这样的问题相信很多朋友都遇到过，那么如何解决呢?天无绝人之路，代理...
2020-04-11 17:33:26
456
原创 如何选用好的代理IP?
首先我们先了解一下代理IP和代理IP的总类：一.什么是代理IP代理IP又称代理服务器（Proxy Server）。是一种重要的安全功能，能起到防火墙的作用。形象的讲，代理服务器是网络信息的中转站，它是介于浏览器和Web服务器之间的一台服务器，有了它之后，Request信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。在日常生活中，我们使用IP代理，大多数是用来连...
2020-04-10 10:44:31
239
原创 使用代理IP的适用于你的业务吗？它的效果怎么样呢？
在网络信息交流越来越频繁的时代了，为了效果，许多人都需要使用代理IP，通过切换IP的方法，提高工作的效率，那么这代理IP对哪些人群有用呢？使用代理IP的效果怎么样？如果代理IP使用效果好，那么怎么挑选个好用的代理IP呢？那现在就一起跟小编去了解一下代理IP的知识吧。 一、使用代理IP的效果怎么样 1.网络推广人员 现在很多企业和个人点后认识到了网络带来的广告效益和传播速度,因此网络推广...
2020-04-08 10:44:33
232
原创 http/https/socks5协议的区别有哪些
http/https/socks5协议的区别有哪些，下面小编介绍一下平时看到很多不同用法的代理IP，而代理IP又分很多协议，那么真正有些什么区别呢？1、概念不同（1）socks5代理，采用socks协议的代理服务器，是一种通用的代理服务器。（2）http proxy，采用http协议代理服务器，主要代理浏览器访问网页。http和https协议现在已经通用。2、代理速度不同（1）http...
2020-04-07 11:28:22
2344
原创 python爬虫的代理IP设置
关于python代理IP的设置，我这里用requests这个模块来实现，IP = {‘https’: ‘86.98.2.163:8080’}r = requests.get(url, proxies=IP, headers=headres,timeout=40)上面这段代码使用了代理IP，这个不用多说，但是需要注意的是requests模块有一个特性（猜的），就是在请求https的网页时传入的...
2020-04-03 12:25:47
409
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人