| 大数据知识体系丨集锦专栏 | 工作/就业 | 大数据领域从业者,就业升职加薪 |
| 信息技术智库社区 | 吹水/互助 | 互联网相关人员,白嫖奖品丨官方活动 |
一、背景知识:requests
欲练此功、必须先了解背景知识。python之所以强大,一个重要的原因就是,拿来即用的代码库丰富!
Python内置的urllib模块,用于访问网络资源。但是,它用起来比较麻烦,也缺少很多实用的高级功能。
更好的方案是使用requests
-
get方法
-
post方法
-
header参数,模拟用户
-
data参数,提交数据
-
proxies参数,使用代理
1、pip安装requests
pip install requests
2、pycharm安装requests
举一反四,其它包的安装方法类似!
3、示例:一行代码使用requests
导入 Requests 模块:
import requests
然后,尝试获取某个网页。本例子中,我们来获取 Github 的公共时间线:
r = requests.get(‘https://api.github.com/events’)
4、requests常用调用(get、post)
-
GET 变量接受所有以 get 方式发送的请求,及浏览器地址栏中的 ?之后的内容。
-
POST 变量接受所有以 post 方式发送的请求,例如,一个 form 以 method=post 提交
-
REQUEST 支持两种方式发送过来的请求,即 post 和 get 它都可以接受,显示不显示要看传递方法,get 会显示在 url 中(有字符数限制),post 不会在 url 中显示,可以传递任意多的数据(只要服务器支持)。
5、requests返回参数
-
r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败
-
r.text HTTP响应内容的字符串形式,即url对应的页面内容
-
r.encoding 从HTTP header中猜测的响应内容编码方式(
-
r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式)
-
r.content HTTP响应内容的二进制形式
🕷 二、蜘蛛的背景知识
1、蜘蛛的应用场景
玩python的小伙伴,相信都听过蜘蛛🕷吧,他有以下10个方面的妙用,本文中,西红柿🍅将带领大家玩一下。
| 应用场景 | 用途解释 |
| — | — |
| 品牌保护 | 通过监控网络上的商标来保护品牌。 |
| 竞争对手情报 | 在不被屏蔽的情况下,抓取竞争对手公开数据信息, |
| 广告验证 | 确保广告在任何地点任何场景被正确的展示 |
| 抓取和索引 | 一个站点可能会将抓取限制为每分钟几个请求,但它们有数千万个页面。 |
| 网站测试 | 准确的测试始于设置正确的参数和正确的环境。 |
| 邮件保护 | 保护敏感数据通信,利用代理服务器应对网络攻击。 |
| 股市数据 | 大规模获取最新的股市信息。 |
| 搜索引擎优化监控 | 使用我们的实时爬虫,监控您的SEO实时情况。 |
| 市场调查 | 从任何位置获取准确的信息,例如可用性和价格。 |
| 旅游聚合 | 使用爬虫获取正确的机票价格和酒店价格。 |
2、动态ip的好
为什么要使用动态住宅IP?
真正的住宅IP地址,这意味着在您请求访问时被阻止的可能性较小并且成功率更高。
-
无限并发
-
IP可用率>98%
-
API调用频率:1秒
-
HTTP、HTTPS和SOCKS5 协议
三、代理ip
我使用的是代理ip网站,可以白嫖50M流量:
http://www.ipidea.net/?utm-source=csdn_bcxhx&utm-keyword=?csdn_bcxhx
1、生成代理api
到此,你拿到了代理ip的api链接,记得复制保存,等下要用。
如果你访问这个api链接,会发现你拿到了ip和端口。
2、api生成代理ip
def get_proxie(self, api_url):
# 微信搜:信息技术智库,回复’源码’
user_agent = ‘Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)’
headers = {
‘User-Agent’: user_agent}
res = requests.post(api_url,headers=headers, verify=True)
proxie = “https://%s”%(res.text)
proxies = {‘http’: proxie}
is_valid, proxies = visitor.proxie_check(proxies)
return is_valid, proxies
3、测试代理ip
def proxie_check(self, proxies):
user_agent = ‘Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)’
headers = {‘User-Agent’: user_agent}
res = requests.get(“https://bbs.csdn.net/forums/ITID”, headers=headers, proxies=proxies)
is_valid = 0
if res.status_code == 200 and “msg” not in str(proxies):
is_valid = 1
return is_valid, proxies
四、代理访问
在上一步中,我们拿到了代理ip。 西红柿使用的是ipidea: 可白嫖50M流量
当然,你如果还有其他方法,欢迎架微notomoto 进Python裙交流。
代码解释:
-
url为访问的地址
-
proxies=proxie 为使用代理
class Visitor(object):
def init(self):
“”“Inits Visitor with blah.”“”
self.eggs = 0
@time_decorator
def proxie_visit(self, proxie ,url):
user_agent_list = [
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ’
‘Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3’,
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
三、全套PDF电子书
书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。
四、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。
五、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
五、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。