网易云课堂的
丘祐玮
综述:如何爬网页数据
使用chorme,右键—>检查
pip 安装 requests
pip 安装 BeautifulSoup4
pip 安装 jupyter
运行jupyter notebook
import requests
res = requests.get('网址')
res.encoding = 'utf-8' #编码方式
print(res.text)
打印出非结构化的网页数据
from bs4 import BeautifulSoup
html_sample = res.text
soup = BeautifulSoup(html_sample,'html.parser')
print(soup.text)
BeautifulSoup.select('标签')#获得含有此标签的列表
提取css属性的元素,id前面加#,class前面加.
alink = soup.select('#title')
blink = soup.select('.link')
实例
import requests
from bs4 import BeautifulSoup
res = requests.get('https://www.csdn.net/')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
#print(soup)
通过以上方式得到链接和文本循环使用就可以在网页提取一定量的文本。