python爬虫（第一天）

网易云课堂的

丘祐玮

综述：如何爬网页数据

使用chorme，右键—>检查

pip 安装 requests

pip 安装 BeautifulSoup4

pip 安装 jupyter

运行jupyter notebook

import requests

res = requests.get('网址')

res.encoding = 'utf-8' #编码方式

print(res.text)

打印出非结构化的网页数据

from bs4 import BeautifulSoup

html_sample = res.text

soup = BeautifulSoup(html_sample,'html.parser')

print(soup.text)

BeautifulSoup.select('标签')#获得含有此标签的列表

提取css属性的元素，id前面加#，class前面加.

alink = soup.select('#title')

blink = soup.select('.link')

实例

import requests
from bs4 import BeautifulSoup
res = requests.get('https://www.csdn.net/')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
#print(soup)

通过以上方式得到链接和文本循环使用就可以在网页提取一定量的文本。