EXCEL爬取数据（两种方法）

最新推荐文章于 2024-06-14 11:43:45 发布

十八画生减一画

最新推荐文章于 2024-06-14 11:43:45 发布

阅读量2.9k

点赞数 1

分类专栏：网络爬虫文章标签： excel

本文链接：https://blog.csdn.net/weixin_50040016/article/details/130090856

版权

网络爬虫专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Excel爬取数据方式（两种）

一、Excel爬取数据的方式

1、简介

（1）背景：当有些网站出现表格型数据，如本文提供的（天气网站：历史天气查询|天气记录|天气预报|气温查询|过去天气_天气后报 NBA球队数据网站：http://www.stat-nba.com/），可直接用Excel爬取数据，本文将解释两种数据爬取的方式及可能出现的问题解决

（2）相关知识

A.F12进入开发者模式找到网页数据对应的URL（网络>标头可查看改网页的URL）

B.查看该网页的编码形式，并转换成excel能理解的编码形式

以上方例子，进入开发者模式后在<元素><head>可查看，该网页编码为UTF-8，则对应excel的编码为65001，常见的编码对应形式如下：

Utf8 = 65001;

Utf16 = 1200;

Ascii = 20127;

Unicode = 1200;

BigEndianUnicode = 1201;

Windows = 1252

2、Web.Page函数爬取数据

Web.Page(Text.FromBinary(Web.Contents([URL]),65001)){0}[Data]

Web.Page	以网页的方式加载数据
Web.Contents	将网页以二进制文件的格式下载
Text.FromBinary	将二进制文件转化为文本
65001	Text.FromBinary中UTF8编码参数

实验网址：ttp://www.stat-nba.com/

步骤如下：

第一步：录入数据

老鹰队：http://www.stat-nba.com/team/ATL.html公牛队：http://www.stat-nba.com/team/CHI.html公牛2018：http://www.stat-nba.com/team/stat_box_team.php?team=CHI&season=2018&col=pts&order=1&isseason=1公牛2019：http://www.stat-nba.com/team/stat_box_team.php?team=CHI&season=2019&col=pts&order=1&isseason=1篮网：布鲁克林篮网队|数据nba|stat-nba|历史数据|技术统计|最全最专业中文nba数据库

总结发现：球队和赛季不同的URL有两处不同：一是team缩写不一样；二是season不一样，于是我们提前将缩写和年份录入excel表格