关于BeautifulSoup的一点记录

1、import

import urllib

import urllib.request
import tkinter as tk
from http import cookiejar
from bs4 import BeautifulSoup
import time
import requests

2、构造headers

headers = {'User-Agent':"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Acoobrower; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
						'Accept':'text/html,application/xhtml+xml,application/xml; q=0.9,image/webp,*/*;q=0.8',
						'Accept-Encoding':'gzip,deflate,sdch',
						'Accept-Language':'zh-CN,zh;q=0.8',
						'Connection':'keep-alive',
						}

3、session

session = requests.session()

4、爬取网页内容及分析网页内容

page=self.session.get(url, headers= headers)
soup = BeautifulSoup(page.text,"lxml")
list = soup.select('%s' % 分析关键词) 

5、soup.select的关键词汇总

（1）通过标签名查找

soup.select('title')
soup.select('a')
...

（2）通过类名查找

soup.select('.sister')
soup.select('.input')

（3）通过 id 名查找

soup.select('#link1')
soup.select('#id')

（4）组合查找

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开

soup.select('p #link1')

soup.select("head > title")

（5）属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

soup.select('a[href="http://example.com/elsie"]')

不在同一节点的空格隔开，同一节点的不加空格

6、post方法

session.post(url,data=list,headers=headers)

soup.select('p a[href="http://example.com/elsie"]')