【Python爬虫】基本原理和框架

开发者工具介绍

参考：https://blog.csdn.net/m0_37724356/article/details/79884006
右击网页-检查，或者F12，打开网页开发者工具

get方式将请求的参数包含在url里面，post方式则在url中隐藏信息，而在"Form data"中


相当于请求的配置信息，User_agent用于判断是否合法




响应体就是我们想获取的内容

获取响应内容：

1、抓取网页文本

#抓取网页文本
import requests
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}#请求头
url='http://www.zhihu.com'#请求url
response=requests.get(url,headers=headers)#获得响应
print(response.status_code)#获取响应状态
print(response.headers)#获取响应头
print(response.text)#获取响应体

2、抓取二进制文件

#抓取图片、视频的二进制文件
import requests
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}#请求头
url='https://ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/newmusic/img/default_8a5b42b2.png'#请求url
response=requests.get(url,headers=headers)#获得响应
#将响应体保存
with open('extract_test.gif','wb') as f:#wb模式：二进制模式的写入,直接存入到指定格式即可
    f.write(response.content)

用selenium的webdriver解决javascript渲染问题：

from selenium import webdriver
driver=webdriver.Chrome()#控制浏览器
driver.get('http://www.zhihu.com')#加载网页
print(driver.page_source)#打印网页已经渲染好的信息