Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
安装:$ pip install beautifulsoup4
Beautiful Soup 的介绍,具体参考文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
导入BeautifulSoup,获取网页源码中某一属性的值,用得最多的方法就是find,find_all
获取表格中指定列的数据,具体参照如下:
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
import time
a_url = 'http://31f.cn/'
html = requests.get(a_url)
pagesource = html.text
soup = BeautifulSoup(pagesource, 'html.parser')
#获取表格中指定列的数据
trs = soup.find('table', class_='table table-striped').find_all('tr')#先查找出来所有行
for tr in trs: #循环所有行
for td in tr.find_all('td')[1:3]: #在行中查找第2列,第3列的值
print(td.getText()) #打印值