python爬虫基础代码通俗讲解

res=requests.get(‘url’)
网页爬虫=requests库.获取（网页地址）

res.status_code
状态码

res.encoding
输出编码格式

res.text
输出字符串形式的文本

res.content
获得其他形式的内容

url = ‘https:………………{}’
url =[url.format(num) for num in range(100)]
网页=……｛把数字空出来｝
网页=把100以内的数字一个个填进去
（介是爬取多页网址的方法，把很多页网址放进一个列表里）

headers = {
‘user-agent’: ……
}
请求头，相当于门栓，不打开不让你进

res = requests.get(url, proxies=proxies, headers=headers)
爬虫内容=获取（网址，代理，请求头）
proxies=[{}{}{}]
代理是什么什么

——————————网页元素——————————
h1 head1 一级标题
p paragrapy 段落
a 超链接
img image 图像
div divide 分开的区域

—————————beautiful soup——————————
soup = BeautifulSoup(res.text, ‘html.parser’)
soup对象=soup解析（爬虫文本，‘解析方法’）

soup.find(‘a’))
找到第一个超链接
soup.find(‘a’)
找到所有超链接内容

soup.find(‘div’, id=‘jordan’, class_=‘player’)
找到（div类，id是jordan，类别是运动员的），也就是说，可以通过多层标签筛选

tag.text
获取标签的文本数据
tag[‘href’]
获取某属性的数据

——————————开发者工具—————————
network

XHR
展示页面内容的

requests.url
可获取真正内容的链接