Python爬虫初学爬取网站天气数据

Python爬虫初学(kehan)

最近有事情耽搁，没有第一时间将资料整理出来，不过还好注释详细，内容还是很精辟的，通过这篇文章，你将简单学会，写自己的模块，爬取网站内容，使用xlwt或csv保存数据

---

---

一. python基础语法呢，推荐廖雪峰大大的教程https://www.liaoxuefeng.com/wiki/1016959663602400。

---

二. 爬虫，就是模仿人类对网站进行一系列操作，获得自己想要的内容。简单的爬虫具体有以下几项操作：

1. 通过’‘requests’'模块获取网页源码

2. 通过BeautifulSoup模块对网页进行解析，找到自己想要的内容；

3. 通过xlwt或csv保存得到的数据。

4. （如果没有安装上述几个模块的话，去网站搜索一下怎么安装）

---

三. 一个实例，爬取西安2019年的历史天气

1. 因为导入自己的模块会很方便，所以先教教大家怎么导入自己的模块

   • 在工程文件夹下新建文件夹，用来存放包

     

     

   • 把新建的文件夹设为Sources Root

   • 在module下新建包(包区别于文件夹的一点是自带(____init.py文件)

   • 

   • 

   • 然后在______init__.py文件里编写自己的内容

   • 最后一步，将模块所在路径导入搜索路径中

     import sys
     sys.path.append(r'/home/kehan/PycharmProjects/advanced') #将模块所在路径导入搜索路径中
     

   • 举个例子，编写一个模块输出hello，在主函数中调用：

     

     

2. "http://www.tianqihoubao.com/"这是我们接下来会用到的网站，爬取西安2019年全年的历史天气

import requests
resp=resquets.get("http://www.tianqihoubao.com/")

3. 接下来使用BesutifulSoup解析网页内容

from bs4 import Beautifulsoup
bsobj=BeautifulSoup(resp.content,'lxml')

​ bsobj就是一个BeautifulSoup对象了，接下来就是对这个对象进行操 作， 获取我们想要的内容

​ (推荐使用火狐或者谷歌浏览器)，打开网页按下F12,在查看器里找到自己想要的内容，可以在搜索框里输入关键字搜索

可以知道我们所需的内容在class="box pcity"的div标签中，使用find函数找到这个div。find函数只会找到第一个。

接下来进行类似操作，取得我们所需的西安城市的网址，网址位于a标签下，用a.get('href')获得网址

其中在resp=requests.get(u,headers=header) 使用参数headers是为了模拟浏览器访问。header可以使用开发者工具获得，点击F12，重新访问该网站，找到第一个请求头

以下是完整代码，我将这个代码写成了自己的模块，命名为url：

import requests
from bs4 import BeautifulSoup


def get_urls(u):
    s='http://www.tianqihoubao.com'
    header={
   
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',