这个暑假发生的事情太多了,感觉自己浑浑噩噩的浪费了许多时间,那么就要用后面的时间补回来
在暑假阶段的爬虫学习目标就是能够独立的实现一些基本简单的爬虫
下面来进行一下一些环境的准备,因为我以前学过一些简单的,但是有因为没有恒心就放弃了
Fiddler进行手机抓包
首先要在配置好fiddler的环境,就先在电脑上实验一下啊
在配置环境的过程中,设置好fiddler允许远程连接之后要重启一次fiddler手机才可以访问
然后就是苹果手机的描述文件要在设置里面安装一次就行了
接下来的部分就没有什么问题了
下面就是一些基础知识了
一个比较重要的库就是urllib 他有四个模块
request 它是用来发起请求的
error 进行异常处理的
parse 解析url地址的
robotparse 解析网站的robot.txt
urllib中的urlopen方法
urllib(url,data=None,[timeout,]*) --请求链接,请求携带参数(比如post提交的数据,)请求超时时间
下面来进行一下简单的应用,来模拟一下登录一个山寨网站
值得注意的点就是使用https的话可以使用ssl未经验证上下文
context = ssl._create_unverified_context
数据封装转换成byte
data = bytes(parse.urlencode(dict),'utf-8')
此次的项目是在b站上爬取你想要的相关数据
f