python如何爬取sci论文中所需的数据_实战｜手把手教你用Python爬取存储数据，还能自动在Excel中可视化！...

大家好，在之前我们讲过如何用Python构建一个带有GUI的爬虫小程序，很多本文将迎合热点，延续上次的NBA爬虫GUI，探讨如何爬取虎扑NBA官网数据。 并且将数据写入Excel中同时自动生成折线图，主要有以下几个步骤

本文将分为以下两个部分进行讲解

在虎扑NBA官网球员页面中进行爬虫，

获取球员数据。

清洗整理爬取的球员数据，对其进行

可视化。

项目主要涉及的Python模块：

requests

pandas

bs4

爬虫部分

爬虫部分整理思路如下👇

观察URL1的源代码找到球队名称与对应URL2观察URL2的源代码找到球员对应的URL3观察URL3源代码找到对应球员基本信息与比赛数据并进行筛选存储

其实爬虫就是在html上操作，而html的结构很简单就只有一个，就是一个大框讨一个小框，小框在套小框，这样的一层层嵌套。

目标URL如下：

URL1：

http://nba.hupu.com/players/

URL2(此处以湖人球队为例)：

https://nba.hupu.com/players/lakers

URL3(此处以詹姆斯为例)：

https://nba.hupu.com/players/lebronjames-650.html

先引用模块

from bs4 import BeautifulSoup

import requests

import xlsxwriter

import os

查看URL1源代码代码，可以看到球队名词及其对应的URL2在span标签中下，进而找到它的父框与祖父框，下面的思路都是如此，图如下：

此时，可以通过requests模块与bs4模块进行有目的性的索引，得到球队的名称列表。

def Teamlists(u