实战｜手把手教你用Python爬取存储数据，还能自动在Excel中可视化！

最新推荐文章于 2023-12-03 01:54:53 发布
最新推荐文章于 2023-12-03 01:54:53 发布
阅读量1.1k 收藏 9
点赞数
分类专栏： 经验分享 文章标签： 可视化 python 数据分析 大数据 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38887171/article/details/109688033
版权

大家好，在之前我们讲过如何用Python构建一个带有GUI的爬虫小程序，很多本文将迎合热点，延续上次的NBA爬虫GUI，探讨如何爬取虎扑NBA官网数据。 并且将数据写入Excel中同时自动生成折线图，主要有以下几个步骤

本文将分为以下两个部分进行讲解

  • 在虎扑NBA官网球员页面中进行爬虫，获取球员数据。
  • 清洗整理爬取的球员数据，对其进行可视化。

项目主要涉及的Python模块：

  • requests
  • pandas
  • bs4


很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：1156465813

 

 爬虫部分

爬虫部分整理思路如下👇

观察URL1的源代码找到球队名称与对应URL2观察URL2的源代码找到球员对应的URL3观察URL3源代码找到对应球员基本信息与比赛数据并进行筛选存储

其实爬虫就是在html上操作，而html的结构很简单就只有一个，就是一个大框讨一个小框，小框在套小框，这样的一层层嵌套。

目标URL如下：

  • URL1：http://nba.hupu.com/players/
  • URL2（此处以湖人球队为例）：https://nba.hupu.com/players/lakers
  • URL3（此处以詹姆斯为例）：https://nba.hupu.com/players/lebronjames-650.html

先引用模块

from bs4 import BeautifulSoup
import requests
import xlsxwriter
import os

查看URL1源代码代码，可以看到球队名词及其对应的URL2在span标签

最低0.47元/天 解锁文章
翎子生。
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Python爬取体育新闻网站的比赛结果和赛程信息
2201_76125393的博客
07-04 401
通过使用Python编写爬虫程序，我们可以从体育新闻网站上获取比赛结果和赛程信息，为体育爱好者提供更多的便利。本文简要介绍了爬虫程序的准备工作、网页解析和数据提取、数据的保存和处理的关键步骤，并提供了一个示例代码。在实际应用中，我们需要注意遵守网站的使用规则和爬虫道德准则，确保合法、合规地进行爬取操作。通过使用爬虫程序，我们可以轻松地获取体育新闻网站上的比赛结果和赛程信息，为我们的体育生活增添更多的乐趣！以上仅为概述，实际应用的过程中可能需要根据具体需求进行适当的调整和改进。
利用python爬取虎扑的数据并可视化数据处理
weixin_44128597的博客
08-24 2916
1.先给出爬取效果图，存成一个csv文件 具体python代码 # -*- coding: utf-8 -*- """ Spyder Editor This is a temporary script file. """ from urllib.parse import urlencode from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.ac
爬虫之爬取“最好大学排名”并以Excel表格形式打印出来
wangziyang777的博客
04-07 1358
#!usr/bin/python # -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup from requests.exceptions import RequestException import re from lxml import etree import pandas url = "htt...
requests使用re爬取腾讯体育新闻
qq_42025868的博客
10-14 1192
简介 爬取新闻标题 1. 安装 pip install request pip install fake_useragent 2. 演示 进入网址，查看网页源代码 找到标题界面，根据li标签的特征使用re匹配 代码演示 import requests from fake_useragent import UserAgent # 伪装请求头的库 import re url = 'http://sports.qq.com/' # 腾讯体育新闻网址 headers = {'User-A
Web编程期末项目：“全球体育快报”——体育新闻门户网站
harden13harden13的博客
08-02 223
核心需求：选取3~5个有代表性的新闻网站建立爬虫，针对不同网站的新闻页面进行分析，爬取出编码、标题、作者、时间、关键词、摘要、内容、来源等结构化信息，存储在数据库中。技术要求：采用Node.JS实现网络爬虫。
python爬虫爬取网页的可视化介绍
weixin_43165267的博客
03-12 1285
动态网页介绍 上几篇文章已经将数据库文件进行了整合，如果不知道的小伙伴，我这里给一个网站，可以去下载，也可以自行去整理。 *将爬虫爬取的文件添加到数据库中* https://blog.csdn.net/weixin_43165267/article/details/114664101?spm=1001.2014.3001.5501 然后到了这一步基本我们第一步的过程就已经结束了。 先简单的介绍一下本次需要用到的东西 一个动态网页的html，如果有能力的可以自己写，我这里就不在写了，我一会也会附上该动态网
Python数据分析:手把手教你用Pandas生成可视化图表的教程
12-25
大家都知道，Matplotlib 是众多 Python 可视化包的鼻祖，也是Python最常用的标准可视化库，其功能非常强大，同时也非常复杂，想要搞明白并非易事。但自从Python进入3.0时代以后，pandas的使用变得更加普及，它的身影...
【代码分享】手把手教你：基于RFM的用户画像可视化系统
03-07
在本项目中，我们将深入探讨如何使用Python技术栈构建一个基于RFM（Recency, Frequency, Monetary）模型的用户画像可视化系统。RFM模型是一种在市场营销中广泛使用的工具，用于评估客户价值和行为频率，帮助我们更好...
手把手教你从零搭建Python数据分析环境
02-25
Python的下载直接去官网就可以了，但是想要做数据分析，还需要依赖很多其他的模块，比如科学计算库Numpy，图形库matplotlib，数值计算库scipy，数据挖掘分析库pandas，本篇就先安装个Numpy和matplotlib，以做演示，...
python后处理详解：手把手教你用python读数据,python读入数据,Python
09-10
Python数据处理还包括可视化，Matplotlib和Seaborn库可以帮助我们将数据转化为直观的图表。通过简单的API调用，就能创建折线图、散点图、直方图等。例如，使用Matplotlib绘制数据的简单示例： ```python import ...
Python爬取NBA球员生涯数据及简单可视化
qq_44776064的博客
04-25 9233
由于全球疫情的原因 NBA宣布无限期推迟比赛 也被迫随之进入了长草期 紧接着 狂摸话筒戈贝尔 连坐队友米切尔 网络小帅杜兰特 绿军硬汉斯马特 等十名球员相继官宣感染 洛杉矶湖人两人感染 但未公布名单 社区论坛里便开始疯狂YY 不能看球的日子 就少了一种摸鱼的消遣 但是 虽然看不了比赛 不能少了对????的热情 作为一个老JRS 小编决定用python 拿虎扑上球星的数据开开刀 -------（重点内容...
python爬虫实操|爬取nba中国官网球员数据
qq_50859962的博客
11-17 8279
本次我们将爬取Ajax动态加载数据并进行简单数据分析，其主要方式是找到数据的json包，将其保存到本地目录，进行数据分析 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、业务分析二、步骤1.找到数据2.抓取数据3.分析数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、业务分析 目标网站：N
Python抓取动态网页数据基础知识（附：爬取NBA球员例子）
最新发布
2301_79640217的博客
12-03 2018
相比于静态网页，动态网页的内容是通过 JavaScript 在客户端动态生成的，因此传统的静态网页抓取方法可能无法获取到动态生成的数据。了解网页中的数据请求方式（如 AJAX 请求），可以使用编程语言中的相应库来模拟这些请求，并获取返回的数据。因为传统的静态网页抓取方法可能无法获取到动态生成的数据，所以基础URL就不顶事了，经过分析的动态内容URL才是我们要的结果。这时，我们将不需要的数据折叠起来，就可以发现我们所需要的数据在payload和players里，这也是我们构建循环所需要的键。
Python爬取虎扑NBA球员信息
char_qb的博客
12-19 5574
先统一引入本次爬取信息所需要的库文件 from bs4 import BeautifulSoup # 网页解析，获取数据 import re # 正则表达式，进行文字匹配 import urllib.request, urllib.error # 制定url，获取网页数据 import sqlite3 # 进行SQLite数据库操作 URL的网页内容：通过在headers里面添加相关信息，以此来达到代码模拟浏览器向服务器发送的信息的目的 # URL的网页内容 def askURL(url)
python爬取数据存入excel_将爬取的数据保存到Excel表格
weixin_39728320的博客
12-04 6296
第一步、导入模块import xlwt # 导入写入excel需要的包第二步、定义函数，将爬取好的数据保存到excel文件中，下面以保存python的关键词为例，介绍详细流程。def write_to_excel(filename, lst):# 为防止写入失败,捕获异常try:# 1 创建一个workbook,相当于创建excel文件work_book = xlwt.Workbook(encod...
python爬虫_数据存入excel中
敷衍zgf的博客
07-15 893
python数据存入excel表格中
写一个python爬虫程序，可以从网站上抓取数据并保存到excel文件中
weixin_42587866的博客
02-13 757
可以使用第三方库requests和pandas实现这个功能。 首先使用requests库发送请求获取网页数据，然后使用pandas将数据保存到excel文件中。 下面是一个简单的示例代码： import requests import pandas as pd # 发送请求获取网页数据 url = "http://www.example.com" response = requests.get(...
数据爬虫 ＋ 数据清洗 + 数据可视化，完整的项目教程！
热门推荐
爬遍所有网站
08-28 1万+
一：数据挖掘 我选用了链家网做数据爬取场所（不得不唠叨一句，这个网站真是为了爬虫而生的，对爬虫特别友好哈哈哈，反扒措施比较少） 比如我们爬取贵阳市乌当区的所有房子的房价及其他信息： 比如我们爬取第一个房子的价格：115万： 接下来我们可以使用复制CSS选择器或者XPath等等来实现获取： 下面我们使用复制XPath的方式，修改路径即可（需要一定前端知识）： 分别实现详解： 1:导入必备库 import requests from lxml import etree import
Python爬虫数据可视化
A.yc的博客
05-15 6623
Python爬虫——matplotlib和pandas库数据可视化 导入需要的第三方库 import matplotlib.pyplot as plt import seaborn as sns import pandas as pd import requests import urllib3 import matplotlib as mpl 设置可以显示中文和改变字体 mpl.rcParams['font.sans-serif'] = ['KaiTi'] mpl.rcParams['font
python爬取物流信息_手把手教你用Python爬取快递100查询你的物流信息
05-18
接下来，您可以使用以下代码进行物流信息的爬取： ```python import requests from bs4 import BeautifulSoup # 输入需要查询的快递单号和快递公司 express_number = input('请输入快递单号：') express_company =...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值