本文介绍了使用Python爬虫从网络上抓取深圳2018年至2019年17个月的天气历史数据，并将其整理保存到CSV文件的过程。首先，解释了数据科学的工作流程，强调数据清洗的重要性。接着，详细说明了爬虫的工作原理，区分了通用爬虫和专用爬虫。最后，提供了目标数据源的URL以及程序的运行环境和结果。
1.python爬虫案例
在正式进行人工智能机器学习的开发之前,需要对数据进行处理
数据科学工作流程:需求(目标)->数据搜集->数据清洗->数据分析->构建模型->模型评估->应用部署
数据清洗:保证数据”干净”,数据质量高低决定了结果的准确性
缺失值,异常值,数据不一致,量纲,维度等等
2.爬虫 (搜索数据)
我们可以把互联网比作一张大网,而爬虫(即网络爬虫)便是在网上爬行的蜘蛛,把网的节点比作一个个网页,爬虫爬到这就是相当于访问了该页面,获取其信息.
把节点间的连线比作网页与网页之间的链接关系,蜘蛛通过一个节点后顺着节点连线继续爬行到达下一个节点,即通过一个网页继续获取后续的网页,这样整个网的节点便可被蜘蛛全部爬行到,网站的数据就可被抓取下来
获取网页->提取信息->保存数据->自动化程序
搜索引擎
互联网上24小时都有爬虫程序在运行 通用爬虫程序
也有专用爬虫程序
爬虫是爬web服务器上数据（json/xml数据，网页，图片，音视频）
3. 目标:获取几年间天气数据
获取深圳2018年到2019 年17个月数据保存到excel表中
数据源 url
城市编码：59493 深圳
http://tianqi.2345.com/t/wea_history/js/201902/59493_201902.js
百度AI平台:
最低0.47元/天 解锁文章
扫一扫
1334
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
