python爬取保存txt_Python爬取中国大学排名，并且保存到excel中

最新推荐文章于 2023-02-08 16:31:07 发布
最新推荐文章于 2023-02-08 16:31:07 发布
阅读量442 收藏 2
点赞数 1
文章标签： python爬取保存txt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29365481/article/details/113536079
版权

前言

以下文章来源于数据分析和Python ，作者冈坂日川

fa4cd37cf7fd6488303419b457e259be.png

今天发的是python爬虫爬取中国大学排名，并且保存到excel中，当然这个代码很简单，我用了半小时就写完了，我的整体框架非常清晰，可以直接拿去用，也希望有小白可以学习到关于爬虫的一些知识，当然我也只是在学习中，有不好的地方还麻烦大佬们指正！谢谢！

233fe958617cf7573af67bfd7c620785.png

爬取中国大学排名

URL : http:// m.gaosan.com/gaokao/265 440.html 
request 获取 html
beautiful soup 解析网页re 正则表达式匹配内容新建并保存 excel
1from bs4 import BeautifulSoup  # 网页解析  获取数据
  2import re  # 正则表达式 进行文字匹配
  3import urllib.request, urllib.error  # 制定url 获取网页
最低0.47元/天 解锁文章
Beyond Imp
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实战｜手把手教你用Python爬取存储数据，还能自动在Excel中可视化！
qq_38887171的博客
11-14 1186
大家好，在之前我们讲过如何用Python构建一个带有GUI的爬虫小程序，很多本文将迎合热点，延续上次的NBA爬虫GUI，探讨如何爬取虎扑NBA官网数据。并且将数据写入Excel中同时自动生成折线图，主要有以下几个步骤 本文将分为以下两个部分进行讲解 在虎扑NBA官网球员页面中进行爬虫，获取球员数据。 清洗整理爬取的球员数据，对其进行可视化。 项目主要涉及的Python模块： requests pandas bs4 很多人学习python，不知道从何学起。 很多人学习python，掌握了基.
【Python爬虫】 2020中国大学排名
大三了啊
06-18 6302
大家好，我是冈坂日川，今天发的是python爬虫爬取中国大学排名，并且保存到excel中，当然这个代码很简单，我用了半小时就写完了，我的整体框架非常清晰，可以直接拿去用，也希望有小白可以学习到关于爬虫的一些知识，当然我也只是在学习中，有不好的地方还麻烦大佬们指正！谢谢！（原创！转载请指明出处！） 爬取中国大学排名 URL : http://m.gaosan.com/gaokao/265440.html request 获取 html beautiful soup 解析网页 re 正则.
python中国大学排名爬虫写明详细步骤-【Python爬虫】从html里爬取中国大学排名...
weixin_37988176的博客
11-01 191
from bs4 import BeautifulSoupimport requestsimport bs4 #bs4.element.Tag时用的上#获取网页页面HTMLdef getHTMLText(url):try:r = requests.request("get", url,timeout=30)r.raise_for_status() #如不是200...
【网络爬虫】爬取中国大学排名网站上的排名信息，将排名前20的大学的信息保存为文本文件并在窗口打印的python程序
qq_59049513的博客
01-26 2457
程序解决问题如下: 利用python网络爬虫爬取中国大学排名网站上的排名信息，将排名前20的大学的信息保存为文本文件，并在窗口打印出这20所大学的信息，按列打印和保存。 程序代码如下： import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status(.
使用python实现某站排行榜视频信息爬取、简单处理并保存到本地excel
Retr0的博客
11-22 553
使用python实现B站排行榜视频信息爬取、简单处理并保存到本地excel 原理 使用python模拟访问B站排行榜页面，利用beautiful soup解析页面数据，并将数据进行整理、归类、调整，并保存到本地 需要用到的库 import requests from bs4 import BeautifulSoup import pandas as pd import datetime import matplotlib.pyplot as plt 主要函数 获取网页内容 def GetWeb(url=N
Python项目开发实战_网络爬虫批量采集股票数据保存到Excel中_编程案例实例课程教程.pdf
05-02
在本章的Python项目开发实战中，我们将学习如何利用网络爬虫批量采集股票数据并保存到Excel文件中。这个实战案例旨在帮助读者掌握Python在爬虫项目中的实际应用，包括网页分析技巧、Python网络编程方法、Excel操作...
py123_Excel股票_EXCELWIND_python爬股票ROE_python_万得信息爬取_
10-04
这个名为"py123_Excel股票_EXCELWIND_python爬股票ROE_python_万得信息爬取_"的项目，显然专注于利用Python来抓取和分析股票数据，特别是关于净资产收益率（ROE）的指标。下面将详细介绍涉及的知识点。 首先，净...
Python 爬取在线课程并保存到Excel Python源码
10-22
Python 爬取在线课程并保存到Excel Python源码Python 爬取在线课程并保存到Excel Python源码Python 爬取在线课程并保存到Excel Python源码Python 爬取在线课程并保存到Excel Python源码Python 爬取在线课程并保存到...
python爬取网易云课堂在线课程并保存到Excel 源码
最新发布
07-06
python爬取网易云课堂在线课程并保存到Excel.zippython爬取网易云课堂...保存到Excel 源码python爬取网易云课堂在线课程并保存到Excel 源码python爬取网易云课堂在线课程并保存到Excel 源码python爬取网易云课堂在线...
python爬取写入excel.txt
04-07
python爬取写入excelpython爬取写入excelpython爬取写入excel
python爬取机械专业考研大学排名并保存到TXT文档中
让技术没有门槛
02-18 2635
python爬取机械专业考研大学排名 今天写了一个简单简单的爬虫，用来爬取自己专业的考研大学排名，思想比较简单，但是可能是初学者的原因，写的过程比较繁琐，希望大家理解，下面看一下代码 # -*- coding:utf-8 -*- # -Author-= JamesBen # Email: 1597757775@qq.com import requests import re def g...
python爬取猫眼电影top100信息并保存在表格中
m0_49979198的博客
08-09 512
import urllib.request from bs4 import BeautifulSoup import re import xlwt baseurl="https://maoyan.com/board/4?offset=" datalist=[] findtitle=re.compile('img alt="(.*?)" class="board-img"') findtplj=re.compile(r'class="board-img" data-src="(.*?)"/>') fi
Python爬虫练习：爬取800多所大学学校排名、星级等
每日分享程序员技巧
08-14 277
前言 国内大学最新排名，北大反超，浙大仅第四，中科大跌至第八 时隔五年，“双一流”大学即将迎来首次大考，这也是继改变高校评断标准之后，第一次即将以官方对外发布，自然是引来了许多人的关注。最近，有许多不同机构发布的国内高校排名，但彼此之间的差异很大，网友之间的争议也很大。 私信小编01即可获取大量Python学习资料 项目目标 爬取高三网大学排名，并保存 目标网址 http://m.gaosan.com/gaokao/265440.html [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直
python读写操作excel数据
06-13 133
'''今天教务老师给我发来了一堆excel表 需要我处理一些数据都是一些基础的数据,这是今年来同济参加夏令营的申请材料在我按部就班的处理了几个之后,觉得这样处理实在是效率太低下了,于是我就写了下面这个程序,用python代码来批量化处理excel数据首先 ,本科学校级别不同,985 211 会有不同的加分,所有我们要筛选匹配出所有人的本科学校,进行匹配'''###首先建立985学校名单列...
51job爬取招聘信息(python)
weixin_45066966的博客
09-04 1416
51job爬取招聘信息 2020.09.04 爬虫技术路线：requests库+bs4+xlwt 程序中分为三个函数： spider(url)函数提取网页，返回整个网页源码 jiexi(html.info)函数解析网页，并且提取信息，参数html是网页源码，info是存放信息的列表 save(data)函数是保存数据的，将提取出来的数据进行逐一的保存至excel文件中去 # -*- coding: utf-8 -*- # Author : YRH # Data : # Project : # Tool
Python爬虫入门之2022软科中国大学排名爬取保存到csv文件
qq_63524458的博客
11-30 7725
“2022软科中国大学排名”为数据建立建立1-10名和11-20名的两个csv文件，并对两个文件进行合并，转化格式等操作。获得“2022软科中国大学排名”数据，从https://www.shanghairanking.cn/rankings/bcur/2022网页中获得排名数据信息，并将数据保存到csv文件中。 2、调用两个CSV文件，将他们合成一个文件，并按排名先后对其进行排序 3、将合并文件储存为txt文件和json文件
Python爬虫案例：爬取世界大学排行榜，做数据可视化
aliYz的博客
02-08 2484
闲的一匹，高三生没多久就要高考了（还有四个月）也是快了，咱来看看世界大学的排行榜，采集一下，做个可视化~看看有没有你心仪的学校，嘿嘿。
python采集世界大学排名并作数据可视化, 来看看你的母校上榜没~
m0_72282564的博客
07-11 1867
嗨喽，大家好呀~这里是爱看美女的茜茜呐代码提供者：青灯教育-巳月下面的尽量跟我保持一致哦~不然有可能会发生报错 💕开发环境:win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车在pycharm中点击Terminal(终端) 输入安装命令选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)点击齿轮, 选择add添加pytho.
python爬虫爬取大学排名并存入数据库进行数据可视化
weixin_46308934的博客
12-31 8726
这是本人的期末大作业，题目要求如下： 对中国大学专业排名网站中2021年，计算机科学与技术专业，进行数据爬取和数据可视化。 URL地址：https://www.shanghairanking.cn/rankings/bcmr/2021/080901 设计要求： 使用requests库中的get方法获取网页。 提取出该专业的前15所大学的数据（排名、学校名称、总分），并保存到sqlite数...
python爬取数据保存到excel
04-02
1. 安装所需模块 使用Python爬虫需要安装requests、beautifulsoup4、openpyxl模块。可以通过以下命令进行安装： ``` pip install requests pip install beautifulsoup4 pip install openpyxl ``` 2. 爬取数据 以爬取豆瓣电影Top250为例，代码如下： ```python import requests from bs4 import BeautifulSoup import openpyxl # 定义表头 header = ['电影名称', '评分', '评价人数', '导演', '主演', '年份', '国家', '类型'] # 创建Excel工作簿 wb = openpyxl.Workbook() ws = wb.active ws.append(header) # 爬取豆瓣电影Top250 url = 'https://movie.douban.com/top250' for i in range(0, 250, 25): params = {'start': i, 'filter': ''} r = requests.get(url, params=params) soup = BeautifulSoup(r.text, 'html.parser') movies = soup.find_all('div', class_='info') for movie in movies: # 获取电影信息 name = movie.find('span', class_='title').text rating_num = movie.find('span', class_='rating_num').text rating_people = movie.find('div', class_='star').find_all('span')[-1].text[:-3] director = movie.find('div', class_='bd').find_all('p')[0].text.split(':')[1].split('\n')[0].strip() actors = movie.find('div', class_='bd').find_all('p')[0].text.split(':')[-1].strip() year = movie.find('div', class_='bd').find_all('p')[1].text.split('/')[0].strip() country = movie.find('div', class_='bd').find_all('p')[1].text.split('/')[1].strip() genre = movie.find('div', class_='bd').find_all('p')[1].text.split('/')[-1].strip() # 将电影信息写入Excel表格 row = [name, rating_num, rating_people, director, actors, year, country, genre] ws.append(row) # 保存Excel表格 wb.save('douban_movie_top250.xlsx') ``` 3. 结果展示 运行上述代码后，会在当前目录下生成一个名为douban_movie_top250.xlsx的Excel文件，文件内容如下图所示： ![excel](https://img-blog.csdnimg.cn/20211029102914820.png)

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值