python 处理网页_Python爬虫学习如何处理网页,python,初学,方式

#爬取方式：直接处理

#直接处理的方式适合简单的网页

#爬取网页

import requests

# headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}

# response = requests.get("http://www.baidu.com",headers=headers)

#

# response.encoding = "utf-8"

# print(response.status_code) #status_code表示获取到状态码200表示成功

#

#

# print(response.text) #text获取到文本文件

#爬取图片

import requests

response = requests.get('https://www.baidu.com/img/bd_logo1.png')

print(response.content) #context是获取到响应体二进制文件

with open('./1.png',"wb") as f: #将二进制文件写入为图片

f.write(response.content)

f.close()

#json解析

#解决javaScript渲染的问题

解决方式：分析Ajax请求

安装请求库

pip install selenium -i https://pypi.douban.com/simple

from selenium import webdriver

driver = webdriver.chrome()

driver.get('http://www.zhihu.com')