爬取的网站:
http://www.weather.com.cn/weather/101040100.shtml
一、下载第三方库
使用pip工具或者pycharm自带的interpreter。
使用pip下载失败问题解决见如下地址:
https://blog.csdn.net/a19990412/article/details/82926079
第一种:需要下载requests库和beautifulsoup4第三方库
二、获取网站信息
要爬取一个网站的信息需要去获取网站的基本信息,如user-agent,url等
具体方法:
(1)打开谷歌浏览器,按下F12进入信息获取:
(2)选择network并且点击Doc查看信息:
(3)使用ctrl+R刷新界面后得到如下:
(4)点击列表中的html文件就可以查看了url和user-agent了:
(5)也可以在sourse中查看网站的代码信息:
三、使用第三方库去获取网页数据以及解码
法一:
可以通过
print(r.encoding)#获取编码方式,填如下方的encode中
from bs4 import BeautifulSoup
import requests
url = "http://www.weather.com.cn/weather/101040100.shtml"
header = ("User-Agent",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
r=requests.get(url,timeout=20)
# r.encoding='utf-8'
content=r.text.encode("ISO-8859-1") #就是网页的编码方式,按照上方方法的输出填写就可以
soup = BeautifulSoup(r.text, 'lxml')
print(soup)
法二:
from bs4 import BeautifulSoup
import requests
url = "http://www.weather.com.cn/weather/101040100.shtml"
header = ("User-Agent",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
r=requests.get(url,timeout=20)
r.encoding='utf-8'
soup = BeautifulSoup(r.text, 'lxml')
print(soup)
四、分析获取所需的文件数据
(1)获取的soup对象有head,title,body,strings等内容,可使用body=soup.body查看获取body的内容:
(2)类似于树形结构,我们可以用find或者find_all的方法逐级地去解析剩下的部分:如我们获取body中的子树中的内容可以用:
data = body.find('div', {'id': '7d'}) # 找到id为7d的div
这样data就是对应的自述中的内容了:
继续查找ul对应子树的内容,即:
ul = data.find('ul') # 获取ul部分
结果如下:
由于我们爬取的是七天的天气数据,当前子树ul下对应有七个分支,于是采用find_all返回所有的子树内容到 li 中:
li = ul.find_all('li') # 获取所有的li
打印出li的内容:
由于li的数据是多维(7天的数据)的,我们需要逐个循环去解析
用 .string的方法去取出其中的文字信息内容,而不是括号中的内容:解析见代码中注释
# 对每个li标签中的内容进行遍历
for eachday in li:
# temp、用于临时存放数据
temp = []
# h1标签下的是日期
date = eachday.find('h1').string
temp.append(date)
# 有多个p标签在li的列表中,他们的内容都是天气数据
information=eachday.find_all('p')
# 第一个p标签就是天气
temp.append(information[0].string)
# 第二个p中有最高温和最低温,由于今天没有最高温的预测,故需要判断是否有最高温,没有就是None
if information[1].find('span') is None:
# 最高温没有
h_tem=None
else:
# 最高温有
h_tem = information[1].find('span').string
# 最低温
l_tem=information[1].find('i').string
temp.append(l_tem)
temp.append(h_tem)
print(temp)
两个p标签的内容
输出结果:
五、完整代码
import urllib.request
from bs4 import BeautifulSoup
import requests
url = "http://www.weather.com.cn/weather/101040100.shtml"
header = ("User-Agent",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
r=requests.get(url,timeout=20)
r.encoding='utf-8'
soup = BeautifulSoup(r.text, "html.parser")
body=soup.body
data = body.find('div', {'id': '7d'}) # 找到id为7d的div
ul = data.find('ul') # 获取ul部分
li = ul.find_all('li') # 获取所有的li
# 对每个li标签中的内容进行遍历
for eachday in li:
# temp、用于临时存放数据
temp = []
# h1标签下的是日期
date = eachday.find('h1').string
temp.append(date)
# 有多个p标签在li的列表中,他们的内容都是天气数据
information=eachday.find_all('p')
# 第一个p标签就是天气
temp.append(information[0].string)
# 第二个p中有最高温和最低温,由于今天没有最高温的预测,故需要判断
if information[1].find('span') is None:
# 最高温没有
h_tem=None
else:
# 最高温有
h_tem = information[1].find('span').string
# 最低温
l_tem=information[1].find('i').string
temp.append(l_tem)
temp.append(h_tem)
print(temp)
参考链接:
https://zhuanlan.zhihu.com/p/384843002