app爬虫相关问题笔记

A

B

C

D

E

F

G

H

I

J

K

L

M
Mac地址（反爬）：爬虫请求头千万不要携带mac地址！最常用的有域名地址、Ip地址、MAC地址三种方式，它们分别对应于OSI模型中的应用层、网络层、数据链接层。通常IP地址是不断变化的，而MAC地址是计算机的物理网卡唯一对应的地址，好比每个人都有唯一对应的身份证号码一样具有唯一性。所以如果访问服务器时带上mac地址就很容易被对方发现你短时间发送大量的请求过来，肯定是爬虫，就把你封掉了，如果被封的是Mac地址，除非你把网卡换掉，否则容易都抓不到目标网站的数据。
N

O

P

Q

R

S

T

U
url相关：
当你用fiddler找不到视频上那样的包时，不是操作问题则先仔细看看是否有重复名字或url的包，包的url和视频上的一致但响应内容却不一致，那是因为目标网站做反爬了，返回给浏览器的json字符串是假的(相比真实的数据缺少了有价值的那一部分数据)，但是你把它的url发送请求后得到的json响应数据却是真实的。

V

W

X

Y

Z