Python爬虫实战案例:抓取天气信息
在数字时代,数据成为了我们生活和工作中不可或缺的一部分。想象一下,如果你需要快速获取某个城市的天气信息,但又不希望打开繁琐的网页,这时Python爬虫就能派上用场了。
今天,我们就来分享一个关于Python爬虫的实战案例——抓取天气信息。
首先,我们需要选择一个提供天气数据的网站,比如中国天气网。然后,利用Python的requests库发送HTTP请求,获取网页的HTML内容。接下来,我们需要对HTML进行解析,以提取出我们需要的天气数据。这里,我们可以使用BeautifulSoup这个强大的HTML解析库。
在解析过程中,我们需要定位到天气信息的HTML元素,然后利用BeautifulSoup提供的方法提取出数据。这些数据可能包括温度、湿度、风速等。
获取到数据后,我们可以将其保存到本地文件,或者进行进一步的处理和分析。比如,我们可以将多个城市的天气数据整合在一起,生成一个天气报表,以便更直观地查看和比较。
通过这个案例,我们不仅可以学习到Python爬虫的基本知识和技巧,还能了解如何对网页数据进行抓取和分析。这将对我们在实际工作中处理和分析数据提供很大的帮助。同时,也能让我们更加深入地理解Python编程语言的强大和灵活。
给学习python爬虫的朋友们,今天给大家准备了几个简单的入门实例,分享给大家。
涉及主要知识点:
1.web是如何交互的
2.requests库的get、post函数的应用
3.response对象的相关函数,属性
4.python文件的打开,保存
代码中给出了注释,并且可以直接运行哦
如何安装requests库(安装好python的朋友可以直接参考,没有的,建议先装一哈python环境)
windows用户,Linux用户几乎一样:
打开cmd输入以下命令即可,如果python的环境在C盘的目录,会提示权限不够,只需以管理员方式运行cmd窗口
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
Linux用户类似(ubantu为例): 权限不够的话在命令前加入sudo即可
sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
1. 爬取强大的BD页面,打印页面信息
# 第一个爬虫示例,爬取百度页面
import requests #导入爬虫的库,不然调用不了爬虫的函数
response = requests.get("http://www.baidu.com") #生成一个response对象
response.encoding = response.apparent_encoding #设置编码格式
print("状态码:"+ str( response.status_code ) ) #打印状态码
print(response.text)#输出爬取的信息
2. 常用方法之get方法实例,下面还有传参实例
# 第二个get方法实例
import requests #先导入爬虫的库,不然调用不了爬虫的函数
response = requests.get("http://httpbin.org/get") #get方法
print( response.status_code ) #状态码
print( response.text )
3. 常用方法之post方法实例,下面还有传参实例
# 第三个 post方法实例
import requests #先导入爬虫的库,不然调用不了爬虫的函数
response = requests.post("http://httpbin.org/post") #post方法访问
print( response.status_code ) #状态码
print( response.text )
4. put方法实例
# 第四个 put方法实例
import requests #先导入爬虫的库,不然调用不了爬虫的函数
response = requests.put("http://httpbin.org/put") # put方法访问
print( response.status_code ) #状态码
print( response.text )
5. 常用方法之get方法传参实例(1)
如果需要传多个参数只需要用&符号连接即可如下:
# 第五个 get传参方法实例
import requests #先导入爬虫的库,不然调用不了爬虫的函数
response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get传参
print( response.status_code ) #状态码
print( response.text )
6. 常用方法之get方法传参实例(2)
params用字典可以传多个
# 第六个 get传参方法实例
import requests #先导入爬虫的库,不然调用不了爬虫的函数
data = {
"name":"hezhi",
"age":20
}
response = requests.get( "http://httpbin.org/get" , params=data ) # get传参
print( response.status_code ) #状态码
print( response.text )
7. 常用方法之post方法传参实例(2) 和上一个有没有很像
# 第七个 post传参方法实例
import requests #先导入爬虫的库,不然调用不了爬虫的函数
data = {
"name":"hezhi",
"age":20
}
response = requests.post( "http://httpbin.org/post" , params=data ) # post传参
print( response.status_code ) #状态码
print( response.text )
8. 关于绕过反爬机制,以zh爸爸为例
# 第好几个方法实例
import requests #先导入爬虫的库,不然调用不了爬虫的函数
response = requests.get( "http://www.zhihu.com") #第一次访问知乎,不设置头部信息
print( "第一次,不设头部信息,状态码:"+response.status_code )# 没写headers,不能正常爬取,状态码不是 200
#下面是可以正常爬取的区别,更改了User-Agent字段
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}#设置头部信息,伪装浏览器
response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法访问,传入headers参数,
print( response.status_code ) # 200!访问成功的状态码
print( response.text )
9. 爬取信息并保存到本地
因为目录关系,在D盘建立了一个叫做爬虫的文件夹,然后保存信息
注意文件保存时的encoding设置
# 爬取一个html并保存
import requests
url = "http://www.baidu.com"
response = requests.get( url )
response.encoding = "utf-8" #设置接收编码格式
print("\nr的类型" + str( type(response) ) )
print("\n状态码是:" + str( response.status_code ) )
print("\n头部信息:" + str( response.headers ) )
print( "\n响应内容:" )
print( response.text )
#保存文件
file = open("D:\\爬虫\\baidu.html","w",encoding="utf") #打开一个文件,w是文件不存在则新建一个文件,这里不用wb是因为不用保存成二进制
file.write( response.text )
file.close()
10. 爬取图片,保存到本地
#保存百度图片到本地
import requests #先导入爬虫的库,不然调用不了爬虫的函数
response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到图片响应
file = open("D:\\爬虫\\baidu_logo.gif","wb") #打开一个文件,wb表示以二进制格式打开一个文件只用于写入
file.write(response.content) #写入文件
file.close()#关闭操作,运行完毕后去你的目录看一眼有没有保存成功
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python必备开发工具
三、精品Python学习书籍
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
六、Python练习题
检查学习结果。
七、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
在探索Python编程的旅程中,我们见证了其无尽的魅力和实用性。Python不仅是一门易于上手的语言,更是一个强大且灵活的工具,能够在数据处理、人工智能、网络爬虫等多个领域大放异彩。
通过不断的学习和实践,我们逐渐掌握了Python的语法规则、编程技巧以及它在各个领域的应用。在这个过程中,我们体会到了编程的乐趣,也感受到了知识的力量。
然而,学习Python并非一蹴而就,它需要持续的努力和坚持。让我们一起在编程的道路上继续前行,不断探索Python的更多可能。无论你是初学者还是经验丰富的开发者,都期待你能在Python的海洋中畅游,享受编程带来的乐趣和成就感。