大家好,今天我们要解答,python进阶书籍的推荐 知乎 python入门后如何进阶,现在让我们一起来看看吧!
大家好,小编为大家解答python爬虫爬取天气数据讲解的问题python二级考了有用吗,python二级证书难考吗。很多人还不知道如何用python爬取天气预报,现在让我们一起来看看吧!
python 爬取24小时天气数据
1、引入相关库
# -*- coding: utf-8 -*-
import requests
import numpy as np
关于爬虫,就是在网页上找到自己想要的数据 ,或者是进行训练,或者是(anyway)…众所周知,在python爬虫的时候,requests是重要的请求数据的库,如果大家是pycharm的编译器,可以在setting中设置,这个不多说,大家心中有数,引入numpy的原因是接下来方便对数据的进行处理。
1.1 开始爬取
话不多说,请开始你的表演
r = ("?呵呵00")
至于这里面的URL,我为大家解释一下,如何在网页中找到合适的数据学c+还是学python。 1、爬虫就是在网页的源码中,找到自己想要的数据,进而存取下来,我们现在需要爬取天气的数据,那么这个时候找到2345天气网,进去后进入开发者模式,或者(F12)均可,点击network,点击JS,每当你刷新网页的时候就会出现新的回应。如下图
图一:天气数据网 这样我们就得了网页的URL,通过我们刚刚说的Requests模块进行爬取。那么,我们想要的数据在哪里呢?在response里面,如下图所示。 红色的部分就是我们需要的数据,我们不妨将其打印出来看看, 这是整个response的结果,很显然,我们需要得到的是一个比较直白的JSON 的数据格式,所以我们对其做一个简单处理。
r.text[16:-32]
这里就是把他的头和尾去掉,然后得到相对直白的数据格式。到这里我们已经得到了网页的数据内容,是不是有点开心,但是我们光得到是不行的,还要真正的拿到————————数据的存储
1.2数据存储
1.2.1 数据分割
在数据存储之前,我们将得到的字符串进行转化成一个数组,首先将其切割为一个一个的数组,用逗号分割开。并将其打印出来。
r_list = r.text[16:-32].split(",")
for i in range(len(r_list)):
print(r_list[i])
1.2.2 数据存储
先导入pandas库,因为它包含有存储数据的功能
import pandas as pd
整个的数据是一天24个小时的数据,我现在想得到温度(temp) 和小时(hour),我们用数组a将其分别存放temp和hour,然后用一个变量tian做循环,不断更新每个小时的数据。而且用DataFrame函数将其存储到excel表格中,这就是一个完整的爬取存储过程。
a = np.zeros((24,2),dtype=int) //定义一个数组,24行,2列
tian = 0 //tian作为一个自增的变量
for i in range(len(r_list)):
if (r_list[i][1:5])=="temp": //因为temp在打印出来的结果是“temp”所以要得到temp,那就是1-5了。
#print(int(r_list[i][9:-1]))
a[tian,0] = int(r_list[i][8:-1]) //这里面将第一位temp找到并放入第一位中
if(r_list[i][1:5])=="hour": //同理
#print(int(r_list[i][8:-1]))
a[tian,1] = int(r_list[i][8:-2])
tian = tian + 1 //进行循环,搜集下一下的数据。
#np.savetxt(str(1)+".csv", a, delimiter=',')
data = pd.DataFrame(a) //将这样的数组拿到后,存到EXCEl中。就ok了
writer = pd.ExcelWriter('12月21日3.xlsx')
data.to_excel(writer, 'page_1', float_format='%.5f')
()
writer.close()
print(a)
打印出来的结果就是这样
完整的代码
# -*- coding: utf-8 -*-
import requests
import numpy as np
r = ("?呵呵00")
print(r.headers)
print(r.encoding)
r.apparent_encoding
r.encoding='utf-8'
r.text[0:-1]
r.text[16:-32]
r_list = r.text[16:-32].split(",")
for i in range(len(r_list)):
print(r_list[i])
help(np.zeros)
import pandas as pd
a = np.zeros((24,2),dtype=int)
tian = 0
for i in range(len(r_list)):
if (r_list[i][1:5])=="temp":
#print(int(r_list[i][9:-1]))
a[tian,0] = int(r_list[i][8:-1])
if(r_list[i][1:5])=="hour":
#print(int(r_list[i][8:-1]))
a[tian,1] = int(r_list[i][8:-2])
tian = tian + 1
#np.savetxt(str(1)+".csv", a, delimiter=',')
data = pd.DataFrame(a)
writer = pd.ExcelWriter('12月21日3.xlsx')
data.to_excel(writer, 'page_1', float_format='%.5f')
()
writer.close()
print(a)
如果对你有帮助,抖音搜索ztd0520,来吧,lxd
原文地址1:https://blog.csdn.net/2301_81900439/article/details/136985179
参考资料:python中用turtle画一个圆形 https://blog.csdn.net/SXIAOYAN_/article/details/140061099