路飞学院python官网-路飞学院-Python爬虫实战密训班-第1章

学习笔记：

通过本章的学习，学习到了requests和BeautifulSoup模块的安装及使用方法。以及爬取给类网站的方法和知识点。

1、requests和BeautifulSoup 安装 pip install requests......

2、使用

import requests

from bs4 import BeautifulSoup

GET请求

r = requests.get("http://")

r.text 返回headers中的编码解析的结果，可以通过r.encoding = "gbk"来变更解码方式

r.content返回二进制结果

r.json()返回JSON格式，可能抛出异常

r.status_code

r.raw返回原始socket respons，需要加参数stream=True

传递headers

headers ={

"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36",

"Host":"github.com"

}

传递cookies

提交data

data = {

"commit":"Sign in",

"utf8":"✓",

}

req_submit = requests.post(url=url,data=data,headers=headers1,cookies=cookies)

获取页面信息

req_submit.content.decode()

####################

加载要解析的文本内容

soup = BeautifulSoup("data","html.parser")

查找相应的标签

soup_html = soup.find(name="html")

取出文本

soup_html.text