Python爬数据之全国中小学信息

最新推荐文章于 2023-06-09 09:19:07 发布
最新推荐文章于 2023-06-09 09:19:07 发布
阅读量3.4k 收藏 7
点赞数 3
分类专栏： Python 爬虫 文章标签： Python爬数据 中小学数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zenobia119/article/details/80963222
版权
本文介绍了使用Python的requests和BeautifulSoup库爬取全国中小学信息的过程。由于目标网站具有反爬虫机制，需要更换IP来应对。同时，需要准备一个包含中国城市名称及其拼音的Excel表格，以便进行数据匹配。最终，爬取的结果将导出为一个包含各学校信息的Excel文件。
摘要由CSDN通过智能技术生成

爬取网站：http://www.xuexiaodaquan.com/ 学校大全

技术路线： requests + BeautifulSoup

貌似这个网站反爬虫还挺牛的，经常就返回自动跳入的139网站，随意得换着IP试试

需要准备中国市名称拼音存在EXCEL中，显示是第一列：市民；第二列：拼音；到市级就可以。

需要挖掘哪些城市就放哪些，如果挖全国，就要放所有市名。

如：


输出是一个EXCEL&#

最低0.47元/天 解锁文章
zenobia119
关注
专栏目录
中国所有院校（大中小学及幼儿园）（json数据）
09-08
幼儿园、小学、中学、职业学校、大学（含港澳台）json数据 字段：学校名称、学校类型、省、市、区、区码、详细地址、经纬度 已收集到的数据共计380316条： 幼儿园：195121条 小学：120863条 中学：61492条 大学：2840条(本科类1347 专科高职类1493) basic-all-school.json（所有学校合并后数据） basic-university-school.json（大学处理后数据） basic-primary-school.json（中小学及幼儿园处理后数据） 其他文件为数据库导出原始数据 文件较大 资源很新很全 例：[{"name":"北京大学","type":"普通本科","province_name":"北京市","city_name":"北京市","district_name":"海淀区","ad_code":"110108","address":"北京市海淀区颐和园路5号","geo_location":{"longitude":116.308264,"latitude":39.995304}}, {"name":"中央财经大学","type":"普通本科","province_name":"北京市","city_name":"北京市","district_name":"海淀区","ad_code":"110108","address":"学院南路校区地址：北京市海淀区学院南路39号;沙河校区地址：北京市昌平区沙河高教园区","geo_location":{"longitude":116.344304,"latitude":39.95945}}, {"name":"河北建筑工程学院","type":"普通本科","province_name":"河北省","city_name":"张家口市","district_name":"桥东区","ad_code":"130702","address":"河北省张家口市朝阳西大街13号","geo_location":{"longitude":114.897138,"latitude":40.755865}},…… 可私信调整数据结构
全国中小学数据库大全mysql
10-06
最新数据进行整理，包含小学、初中、高中 大约27万+条数据，更可以根据自己需要随时通过数据库进行添加 使用说明： 使用数据库导入工具导入 mysql数据库即可。如需其他数据库如nosql 请自行转换即可。 此数据库包含三个表： nobook_city ：城市表 nobook_school:学校表 nobook_schooltype: 学校类型表 具体使用方式： 导入数据库后，通过省份城市及学校类型进行筛选，并且学校数据表已经设置首字母，所以可以根据首字母快速查找数据库 内含WINDOWS版和MAC版school.sql数据库。
全国中小学学校数据库（包含地市及学校类型等信息）完整版（附使用说明）
06-03
看到很多网上提供的不全，或者估计只留少部分，此数据库根据最新数据进行整理，包含小学、初中、高中 大约27万+条数据，更可以根据自己需要随时通过数据库进行添加，方便教育行业使用，如有疑问可私信我
python抓网页数据【ref:http://www.1point3acres.com/bbs/thread-83337-1-1.html】
weixin_30698297的博客
12-02 2480
前言：数据科学越来越火了，网页是数据很大的一个来源。最近很多人问怎么抓网页数据，据我所知，常见的编程语言(C++,java,python)都可以实现抓网页数据，甚至很多统计\计算的语言(R,Matlab)都有可以实现和网站交互的包。本人试过用java,python,R抓网页，感觉语法各有差异，逻辑上是一样的。我准备用python来大概讲讲抓网页是什么概念，具体的内容要自己看手册或者google别人...
全国中小学学校数据库(含地市及学校类型等信息)最新版.zip
09-05
软件介绍: 最新数据进行整理，包含小学、初中、高中 大约27万 条数据，更可以根据自己需要随时通过数据库进行添加使用说明：使用数据库导入工具导入 mysql数据库即可。如需其他数据库如nosql 请自行转换即可。此数据库包含三个表： nobook_city ：城市表nobook_school:学校表nobook_schooltype: 学校类型表具体使用方式：导入数据库后，通过省份城市及学校类型进行筛选，并且学校数据表已经设置首字母，所以可以根据首字母快速查找数据库内含WINDOWS版和MAC版school.sql数据库。
全国中小学数据库sql文件
04-01
此为sql版本。在中国教育在线用html工具抓取的全国中小学的学校数据。仅用于学习交流使用。数据并不完整，所有的数据都来自，中国教育在线，需要看完整的信息，请到http://xuexiao.eol.cn/查看。
利用python进行数据爬取_用Python实现数据的爬取
weixin_39686634的博客
12-03 501
1 from os importpath2 importrequests3 from bs4 importBeautifulSoup4 importjson5 importpymysql6 importnumpy as np7 importtime89 url = 'https://ncov.dxy.cn/ncovh5/view/pneumonia?from=timeline&isappi...
python第一次实现爬数据，不过还是不太懂其中的原理，只是拿过来就用了
Evil的博客
08-18 565
第一次实现了爬数据，小心脏还是挺高兴的。 试着在爬下了百度的新闻，然后美团的数据，饿了吗和新浪试了下不行，原因可能是https的关系 这是抓取的美团的数据，不过User-Agent的参数要填自己的，建议用fiddler2抓包工具 话不多说，上代码。 # -*- coding:utf-8 -*- import re from bs4 import Beauti
基于Python的中小学云课堂平台设计与实现.docx
最新发布
10-31
本文主要探讨了基于Python的中小学云课堂平台的设计与实现，旨在为专科和本科毕业生提供一篇原创的、已降重的毕业论文。论文涉及到的关键技术包括Python编程语言、数据挖掘、爬虫以及Django框架，这些都是构建高效、...
python网站爬数据脚本
08-23
适用与每天固定登录网站检查数据，可以根据自己的需求将数据拉到本地。
全国中小学数据库txt文件
04-01
在中国教育在线用html工具抓取的全国中小学的学校数据。仅用于学习交流使用。数据并不完整，所有的数据都来自，中国教育在线，需要看完整的信息，请到http://xuexiao.eol.cn/查看。
全国学校矢量数据文件（ZIP）
05-16
全国各省学校矢量数据合集，包括大中小学等院校矢量数据信息，SHP文件，可用于ArcGIS分析 仅供参考学习练习之用
全国中小学数据库sql文件 仅用于学习交流使用
04-29
全国中小学数据库sql文件 仅用于学习交流使用。 此为sql版本。在中国教育在线用html工具抓取的全国中小学的学校数据。仅用于学习交流使用。数据并不完整，所有的数据都来自，中国教育在线，需要看完整的信息，请到http://xuexiao.eol.cn/查看。 数据库
全国初中高中小学学校名单2021版.xlsx
03-29
包含全国大学、高中、初中、技校、小学全部名称数据，含省/直辖市编码名称、地市编码及名称、区县编码及名称、学校编码及名称，23万条最全数据，数据来源学生体质健康网。若需要定制数据，可私信我
Python数据分析学习心得
holdme95的博客
06-09 559
心得笔记
《作文精编大全》，Python程序员用爬虫制作的
热门推荐
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
10-26 1万+
本篇博客又是一个 Python 爬虫实战，目标站点时作文吧，一个充满作文的站点 zuowen8.com，由于其站点有那么一点点的付费需求，所以有一名爸爸级开发工程师不开心了，决定写一个小小的爬虫，他要的不多，就是一年级那一点点作文。之后，编码依旧错误，此时就需要查看一下网页源码中的具体编码设置了，打开开发者工具，查看源码编码，发现网站采用的是。打开一年级作文列表页，页面如下所示，接下来要完成的第一步就是采集这个列表页的数据。链接获取完毕，需要将其进行拼接，得到详情页完整地址，使用。
第01课-初识Python-小学五年级兴趣课
03-19
Python语言由荷兰人Guido van Rossum于1990年开发，并于2000年发布了Python 2.0版本，2008年发布了Python 3.0版本，逐渐成为目前使用最广泛的编程语言之一。Python语言的拥有者是Python软件基金会（Python Software ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值