python必会的简单爬虫

爬取的网站： 

http://www.weather.com.cn/weather/101040100.shtml

一、下载第三方库

        使用pip工具或者pycharm自带的interpreter。

        使用pip下载失败问题解决见如下地址：

        https://blog.csdn.net/a19990412/article/details/82926079

        第一种：需要下载requests库和beautifulsoup4第三方库

二、获取网站信息

        要爬取一个网站的信息需要去获取网站的基本信息，如user-agent，url等

        具体方法：

         （1）打开谷歌浏览器，按下F12进入信息获取：

                                

                        

           （2）选择network并且点击Doc查看信息：

                            

               （3）使用ctrl+R刷新界面后得到如下：

                                

               （4）点击列表中的html文件就可以查看了url和user-agent了：

                                      

                                

          （5）也可以在sourse中查看网站的代码信息：

                        

三、使用第三方库去获取网页数据以及解码

        法一：

         可以通过

print(r.encoding)#获取编码方式，填如下方的encode中

from bs4 import BeautifulSoup
import requests

url = "http://www.weather.com.cn/weather/101040100.shtml"
header = ("User-Agent",
          "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")

r=requests.get(url,timeout=20)
# r.encoding='utf-8'
content=r.text.encode("ISO-8859-1")   #就是网页的编码方式，按照上方方法的输出填写就可以
soup = BeautifulSoup(r.text, 'lxml')
print(soup)

        法二：

from bs4 import BeautifulSoup
import requests

url = "http://www.weather.com.cn/weather/101040100.shtml"
header = ("User-Agent",
          "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")

r=requests.get(url,timeout=20)
r.encoding='utf-8'
soup = BeautifulSoup(r.text, 'lxml')
print(soup)

四、分析获取所需的文件数据

         （1）获取的soup对象有head，title，body，strings等内容，可使用body=soup.body查看获取body的内容：

（2）类似于树形结构，我们可以用find或者find_all的方法逐级地去解析剩下的部分：如我们获取body中的子树中的内容可以用：

data = body.find('div', {'id': '7d'})  # 找到id为7d的div

这样data就是对应的自述中的内容了：

 继续查找ul对应子树的内容，即：

ul = data.find('ul')  # 获取ul部分

结果如下：

由于我们爬取的是七天的天气数据，当前子树ul下对应有七个分支，于是采用find_all返回所有的子树内容到 li 中：

li = ul.find_all('li')  # 获取所有的li

打印出li的内容： 

由于li的数据是多维（7天的数据）的，我们需要逐个循环去解析

用 .string的方法去取出其中的文字信息内容，而不是括号中的内容：解析见代码中注释

# 对每个li标签中的内容进行遍历
for eachday in li:
    # temp、用于临时存放数据
    temp = []
    # h1标签下的是日期
    date = eachday.find('h1').string
    temp.append(date)
    # 有多个p标签在li的列表中，他们的内容都是天气数据
    information=eachday.find_all('p')
    # 第一个p标签就是天气
    temp.append(information[0].string)
    # 第二个p中有最高温和最低温，由于今天没有最高温的预测，故需要判断是否有最高温，没有就是None
    if information[1].find('span') is None:
        # 最高温没有
        h_tem=None
    else:
        # 最高温有
        h_tem = information[1].find('span').string
    # 最低温
    l_tem=information[1].find('i').string
    temp.append(l_tem)
    temp.append(h_tem)
    print(temp)

 两个p标签的内容

输出结果：

五、完整代码

import urllib.request
from bs4 import BeautifulSoup
import requests

url = "http://www.weather.com.cn/weather/101040100.shtml"
header = ("User-Agent",
          "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")

r=requests.get(url,timeout=20)
r.encoding='utf-8'
soup = BeautifulSoup(r.text, "html.parser")
body=soup.body
data = body.find('div', {'id': '7d'})  # 找到id为7d的div
ul = data.find('ul')  # 获取ul部分
li = ul.find_all('li')  # 获取所有的li

# 对每个li标签中的内容进行遍历
for eachday in li:
    # temp、用于临时存放数据
    temp = []
    # h1标签下的是日期
    date = eachday.find('h1').string
    temp.append(date)
    # 有多个p标签在li的列表中，他们的内容都是天气数据
    information=eachday.find_all('p')
    # 第一个p标签就是天气
    temp.append(information[0].string)
    # 第二个p中有最高温和最低温，由于今天没有最高温的预测，故需要判断
    if information[1].find('span') is None:
        # 最高温没有
        h_tem=None
    else:
        # 最高温有
        h_tem = information[1].find('span').string
    # 最低温
    l_tem=information[1].find('i').string
    temp.append(l_tem)
    temp.append(h_tem)
    print(temp)

 参考链接：

https://zhuanlan.zhihu.com/p/384843002