本文记录了作者暑假期间学习Python爬虫的开始，目标是掌握基础爬虫的实现。首先介绍了环境准备，包括Fiddler的配置，特别是设置允许远程连接和苹果手机的描述文件安装。接着提到了Python中重要的urllib库及其四个模块：request、error、parse和robotparse，并通过一个模拟登录的简单示例介绍了urlopen方法。最后，预告将利用Python爬虫在B站爬取相关数据。
这个暑假发生的事情太多了，感觉自己浑浑噩噩的浪费了许多时间，那么就要用后面的时间补回来
在暑假阶段的爬虫学习目标就是能够独立的实现一些基本简单的爬虫
下面来进行一下一些环境的准备，因为我以前学过一些简单的，但是有因为没有恒心就放弃了
Fiddler进行手机抓包
首先要在配置好fiddler的环境，就先在电脑上实验一下啊
在配置环境的过程中，设置好fiddler允许远程连接之后要重启一次fiddler手机才可以访问
然后就是苹果手机的描述文件要在设置里面安装一次就行了
接下来的部分就没有什么问题了
下面就是一些基础知识了
一个比较重要的库就是urllib 他有四个模块
request 它是用来发起请求的
error 进行异常处理的
parse 解析url地址的
robotparse 解析网站的robot.txt
urllib中的urlopen方法
urllib(url,data=None,[timeout,]*) --请求链接，请求携带参数（比如post提交的数据，）请求超时时间
下面来进行一下简单的应用，来模拟一下登录一个山寨网站
值得注意的点就是使用https的话可以使用ssl未经验证上下文
context = ssl._create_unverified_context
数据封装转换成byte
data = bytes(parse.urlencode(dict),'utf-8')
此次的项目是在b站上爬取你想要的相关数据
f
最低0.47元/天 解锁文章
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
