python pandas爬取网页成绩表格，计算各个类别学分

最新推荐文章于 2024-01-22 10:33:49 发布
最新推荐文章于 2024-01-22 10:33:49 发布
阅读量1.1k 收藏 4
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cysisu/article/details/100165844
版权
本文介绍了如何使用Python的pandas库从网页抓取成绩表格，并详细展示了计算各个类别学分的过程，包括编写程序代码及运行的部分结果。
摘要由CSDN通过智能技术生成

一、以下是个人成绩表格

二、下面是我的程序：

# -- coding: utf-8 --
import pandas as pd
import csv

def credit_points_sum(df,title):
    df.to_csv('E:\\scores_'+title+'.csv',  encoding='utf_8_sig')  # index=False,header=False
    sum=0
    for i in range(df.shape[0]):
        sum+=float(df.iloc[i][4])
    print(title+':'+str(sum))


url='E://scores.html'
tb=pd.read_html(url)[1]
tb=tb[1:70]
print(tb.iloc[0][6])
tb[4].astype(float)
print(tb)

# 总学分
credit_points_sum(tb, u'总学分')

# 专选
tb_zhuanXuan=tb[tb[6]=='专选']
credit_points_sum(tb_zhuanXuan,'专选')


# 必修
tb_biXiu=tb[tb[6]=='必修']
credit_points_sum(tb_biXiu,'必修')


# 素质
tb_suZhi=tb[tb[6]=='素质']
credit_points_sum(tb_suZhi,'素质')

# 专选非限
tb_suZhi=tb[tb[6]=='专选(非限)']
credit_points_sum(tb_suZhi,'专选(非限)')

三、下面是运行的部分结果

四、下面是个人下载下来的静态html


<html>
<title>学生个人总成绩查询</title>
<head>
<META http-equiv=Content-Type content="text/html; charset=gb2312">
<LINK href="/include/style.css" type=text/css rel=stylesheet>
</head>
<body >

<center>
<table BORDER="0" cellspacing="0"   height="80%">
<tr>
<td>
</td></tr>
<tr>
<td align="center">


<p><B><font size="3">重庆大学学生成绩单</font></B></p>
                                                                                   

<p><B>学号：</B>20161590　　<B>姓名：</B>谭植尹　　<B>专业：</B>软件工程 <B>GPA：</B>3.22</B>　</p>
<table BORDER="1" cellspacing="0" cellpadding="2" bordercolorlight="#000000"
bordercolordark="#FFFFFF" bordercolor="#FFFFFF" width="877">
  <tr>
    <td width="32"><b>序号</b></td>
    <td width="84"><b>课程编码</b></td>
    <td width="210"><b>课程名称</b></td>
    <td width="43"><b>成绩</b></td>
    <td width="43"><b>学分</b></td>
    <td width="53"><b>选修</b></td>
    <td width="52"><b>类别</b></td>
    <td width="60"><b>教师</b></td>
    <td width="54"><b>考别</b></td>
    <td width="38"><b>备注</b></td>
    <td width="140"><b>时间</b></td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      1
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      SE31029
    </td>
    <td VALIGN="center" width="210" height="23"> 
      .NET框架及C#程序设计
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	76
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      2
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      专选 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       祝伟华
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2018-12-1
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      2
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      SE31209
    </td>
    <td VALIGN="center" width="210" height="23"> 
      DirectX图形程序设计
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	81
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      2
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      专选 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       曾骏
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2019-1-10
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      3
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      SE21023
    </td>
    <td VALIGN="center" width="210" height="23"> 
      Java EE程序设计
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	82
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      2
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      专选 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       黄晟
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2018-7-16
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      4
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      SE31107
    </td>
    <td VALIGN="center" width="210" height="23"> 
      Web开发技术
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	95
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      2
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      必修 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       王成良
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2019-1-18
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      5
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      SE21021
    </td>
    <td VALIGN="center" width="210" height="23"> 
      操作系统原理
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	96
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      3
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      必修 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       洪明坚
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2018-7-15
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      6
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      SE11005
    </td>
    <td VALIGN="center" width="210" height="23"> 
      程序设计基础
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	84
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      4
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      必修 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       黄晟
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2017-1-17
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      7
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      SE24061
    </td>
    <td VALIGN="center" width="210" height="23"> 
      程序设计实训
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	80
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      3
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      必修 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       雷跃明
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2017-9-11
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      8
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      HG00046
    </td>
    <td VALIGN="center" width="210" height="23"> 
      大学国文（上）
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	82
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      2
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      素质 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       彭磊
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2016-12-30
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      9
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      HG00047
    </td>
    <td VALIGN="center" width="210" height="23"> 
      大学国文（下）
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	81
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      2
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      素质 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       刘扬
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2017-6-20
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      10
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      PYS10013
    </td>
    <td VALIGN="center" width="210" height="23"> 
      大学物理Ⅱ-1
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	76
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      3.5
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      必修 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       苏荀
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2017-7-7
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      11
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      PYS12010
    </td>
    <td VALIGN="center" width="210" height="23"> 
      大学物理实验
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	77
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      1.5
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      必修 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       余沛
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2017-7-7
    </td>
  </tr>

  <tr>

    <td align="center" VALIGN="center" width="32" height="23"> 
      12
    </td>
    <td align="center"  VALIGN="center" width="84" height="23"> 
      5200080
    </td>
    <td VALIGN="center" width="210" height="23"> 
      大学英语(国家四级)
    </td>
    <td  align="center" VALIGN="center" width="43" height="23">
	453
    </td>
    <td  align="center" VALIGN="center" width="43" height="23"> 
      1
    </td>
    <td  align="center" VALIGN="center" width="53" height="23"> 
      
	  正常
      
    </td>
    <td  align="center" VALIGN="center" width="52" height="23"> 
      
      任选 
      
    </td>
    <td align="center"  VALIGN="center" width="60" height="23"> 
       国家四级
    </td>
    <td align="center"  VALIGN="center" width="54" height="23"> 
	正考
    </td>
    <td align="center"  VALIGN="center" width="38" height="23"> 
	  正
    </td>
    <td align="center"  VALIGN="center" width="140" height="23"> 
	  2017-9-12
    </td>
  </tr>

  <tr>

    <td align="center" VALIG
最低0.47元/天 解锁文章
cysisu
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python基于pandas爬取网页表格数据
12-17
以网页表格为例：https://www.kuaidaili.com/free/ 该网站数据存在table标签，直接用requests，需要结合bs4解析正则/xpath/lxml等，没有几行代码是搞不定的。 今天介绍的黑科技是pandas自带爬虫功能，pd.read_html()，只需传人url，一行代码搞定。 原网页结构如下： python代码如下： import pandas as pd\nurl='http://www.kuaidaili.com/free/' df=pd.read_html(url)[0] # [0]：表示第一个table，多个table需要指定，如果不指定默认第一个
多态和继承（2）——多重继承、子类互为友元
u010959041的专栏
06-09 913
完成“学生cpp成绩计算”之后，修改Person和Student类，各自增加两个无参构造函数。 /*仍以Person类为基础，建立一个派生类Teacher，增加以下成员数据： int ID;//教师工号 Student stu[100];//学生数组 int count;//学生数目，最多不超过100 float cpp_average;//班级cpp平均分 增加以下成员函数： Te
用C++实现一个班级学生的学期成绩管理
小灰的博客
06-14 5972
实现一个班级学生的学期成绩管理个人信息类CPerson的数据成员有姓名、年龄、性别。 课程类CCourse的数据成员有课程名、学分、成绩。 学生类CStudent从CPerson类派生，并增加数据成员学号、CCourse类对象成员数组（大小为8）总成绩、总学分和平均成绩。 班级类CClass类的数据成员由CStudent类对象数组（大小由构造函数确定）、班号、班级人数等。
python爬虫——抓取表格pandas当爬虫用超简单
最新发布
`Steven的博客
01-22 1989
只要想提取的表格是属于<table 标签内，就可以使用pd.read_html()，它可以将网页上的表格都抓取下来，并以DataFrame的形式装在一个列表中返回。首先F12，页面元素点击表格内容，发现最上面的层级是<table，那么就可以用pandas直接抓！pandas还能当爬虫用，你敢信吗？而且超级简单，两行代码就趴下来。就看到保存的CSV文件了。
python中使用pandas获取网页中的表格
EaSoNgo111的博客
03-01 430
python中使用pandas获取网页中的表格
python Pandas 读取txt表格的实例
09-20
在Python编程语言中，Pandas库是用于数据分析和处理的强大工具。它提供了各种方便的数据结构，如DataFrame和Series，使得处理表格数据变得简单易行。本文将深入探讨如何使用Pandas读取txt文件，并通过一个具体的实例...
Python爬取网页信息的示例
09-27
本示例将深入讲解如何使用Python来爬取网页信息，以一个实际例子——爬取《Nameberry》网站上的名字评论内容为例。 首先，我们需要确认要爬取的网址。在这个例子中，我们从首页开始，逐层深入，找到包含所需信息的...
利用pandas解决期末总成绩的计算（python）
weixin_45044349的博客
12-23 5529
1.从excel文件中读出本班同学的成绩册，并处理好缺失值。 2.根据‘加分’和‘减分’两列统计出平时成绩。 3.将实验报告成绩从ABCD转换为百分制，统计出实验成绩。A为90分，B为75分，C为60分，D为40分。 4.随机生成假设的期末成绩，取值区间为40-100分。将自己的期末成绩改成你觉得可能考到的分数。 5.按照平时成绩20%，实验成绩30%，期末成绩50%的比例计算综合成绩。 6.输出你自己的平时成绩，实验成绩，期末成绩和综合成绩。 7.统计全班综合成绩[90,100],[80,89],[70,
网页表格爬取方法
qq_40932165的博客
01-14 5642
爬虫小练习，网页表格数据爬取
最简单的爬虫，用pandas爬取表格数据
zhuxiao5的博客
08-16 7599
最简单的爬虫：用Pandas爬取表格数据 大家好，我是小五???? 书接上文，我们可以使用Pandas将Excel转为html格式，在文末我说与之对应的read_html()也是一个神器！ PS：大家也很给力，点了30个赞，小五赶紧安排上 begin 最简单的爬虫：用Pandas爬取表格数据 有一说一，咱得先承认，用Pandas爬取表格数据有一定的局限性。 它只适合抓取Table表格型数据，那咱们先看看什么样的网页满足条件？ 什么样的网页结构？ 用浏览器打开网页版，F12查看网页HTML结构，会发现符合条件
python3 爬取网页表格实例
07-01
python爬取网页的表格内容, 并存入csv文件, 网页地址:http://app.finance.ifeng.com/data/stock/yjyg.php?symbol=000001
简单又强大的pandas爬虫 利用pandas库的read_html()大法爬取网页表格型数据
叶庭云 成为自己的光
08-31 9428
介绍了pandas的 read_html() 方法以及其抓取Table表格型数据的原理，然后用两个爬取实例展示pandas库的read_html()方法爬取网页表格型数据保存到本地的强大和简单易操作。
用Pandas爬虫只需要一行，你绝对想不到
白帽阿叁的博客
12-26 441
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。当然这只是第一页的数据，点击第二页可以看到网址后面多了?Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。若有侵权，请联系删除。
Python Pandas实现数据分组求平均值并填充nan
热门推荐
jiangjiane
05-29 1万+
Python实现按某一列关键字分组，并计算各列的平均值，并用该值填充该分类该列的nan值。DataFrame数据格式fillna方式实现DataFrame数据格式以下是数据存储形式： fillna方式实现按照industryName1列，筛选出业绩筛选出相同行业的Series计算平均值mean，采用fillna函数填充append到新DataFrame中循环遍历行业名称，完成2,3,4步骤fact...
利用Pandas进行高效网络数据获取
ak_bingbing的博客
12-29 857
本文将重点介绍如何使用Pandas库进行网络爬虫。爬取数据是获取互联网上信息的常见方式之一，而Pandas作为一种强大的数据处理和分析工具，为我们提供了便捷的方法来处理和清洗从网页上获取的数据。文章将从爬取网页数据开始，包括使用Python的Requests库发送HTTP请求获取网页内容，并使用Pandas的功能来解析和提取所需的数据。我们还将讨论如何处理网页中的表格数据、处理和清洗数据、保存数据到文件等常见任务。
Pandas数据爬虫，爬取网页数据并存储至本地数据库
weixin_42684533的博客
01-18 1195
read_html函数是最简单的爬虫，可爬取静态网页表格数据，但只适合于爬取table 表格型数据，不是所有表格都可以用read_html爬取，有的网站表面上看起来是表格，但在网页源代码中不是table格式，而是list列表格式，这种表格就不适用read_html爬取。
pandas fillna_机器学习教程之小白入门Pandas
weixin_39860732的博客
11-27 471
如果你想要利用python来学习数据分析和机器学习，你将很有可能使用非常强大的Pandas库。Pandas是python的一个可供数据操纵和分析的开源库。今天的内容是小编带你对Pandas进行简单的入门。1 读取数据这有一种很简单的方式，就是你可以用Python加载数据表(tables)以及excel文件：Pandas可以让我们读取电子表格并且用python程序化地操纵它们。Pandas的核心是D...
pandas数据分析
changan
08-03 851
将指定多个聚合函数，分组统计，指定数组
pandas爬取网页的表格信息
08-06
pandas是一个强大的Python库，可以用于数据处理和分析，其中也包含了对网页数据的爬取功能。通过pandas可以方便地爬取网页上的表格信息。 首先，我们需要使用pandas的read_html函数来读取网页上的表格数据。read_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值