Python爬虫学习笔记

1.requests请求库

1.1导入模块------import requests

1.2发送请求，获取响应---------response=requests.get('网址')

1.3获取响应数据---------print(response.text)  #网址的编码格式不同可能导致看不懂

改:response.encoding='utf-8';    print(response.text);  #两行数据，略显麻烦

改:print(response.content.decode())

decode()  解码，默认utf-8编码格式

response.text   响应体str类型

response.encoding: 二进制转换字符使用的编码，显示二进制码

response.content:响应体bytes类型

有些网站使用gbk解码，则print(response.content.decode(‘gbk’))

2.Beautiful4库

需要安装