Python学习-爬虫/数据分析/游戏制作
文章平均质量分 66
Python爬虫学习的相关内容
Polaris_T
失败总是贯穿人生的始终,这就是常态。
展开
-
Python构造代理IP池提高访问量
from bs4 import BeautifulSoupimport requestsimport randomimport timedef create_proxy_pool():# 从西拉免费ip代理网站获取代理IP列表r = requests.get(‘http://www.xiladaili.com/http/’, headers= {‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (原创 2021-09-04 10:45:21 · 564 阅读 · 0 评论 -
Python模拟登陆教务系统爬取成绩信息+绘制成绩分布图+导入MySQL
这是一篇介绍如何通过Python实现模拟登陆学校教务系统并爬取成绩相关信息(学期,课程名,总成绩,课程性质,学分)然后绘制成绩分布折线图最后导入MySQL数据库中的文章为了利用充分利用selenium的功能和成功爬取数据,需要有前置的html、css、简单爬虫的相关知识说明:我学校的成绩查询页面是通过加载js框架进而动态实时加载显示表格及数据的,如果仅仅是用一般的爬虫方法直接爬取页面信息,是不能成功的,因为那样是直接获取网页源码,其中并没有成绩数据。当然,采用某些爬虫方法肯定也能实现爬取js动态网页,但原创 2021-09-03 22:29:23 · 3412 阅读 · 11 评论 -
一文掌握Python数据分析入门操作
这是一篇介绍用Python进行基础的数据分析的文章,总结了其他博主文章的要点,主要分为6个部分:1.生成或导入数据表2.检查数据表3.清洗数据表4.数据预处理5.数据汇总 | 数据统计 | 数据导出6.自动化处理1.生成或导入数据表在使用 python 进行数据导入前,我们需要先导入 pandas 和 numpy 库。import numpy as npimport pandas as pd导入数据表(从csv/xlsx文件导入):df = pd.DataFrame(pd.read原创 2021-09-03 17:34:28 · 2719 阅读 · 0 评论 -
Python简易贪吃蛇小游戏(双人模式)
简单用py写了一个贪吃蛇游戏,有单人、双人模式,比较简单,适合初学者练手。这里介绍双人模式单人模式戳这里:Python简易贪吃蛇小游戏(单人模式)一、游戏设计要点1.游戏主体窗口(尺寸)、画布(尺寸、位置)、按钮(尺寸、位置)、文字(大小、颜色、位置)、图像、背景音乐及相关响应函数(主要是鼠标移动及点击的响应)的设计与合理排布2.蛇与食物的类的属性设计3.蛇位置的更新(根据键盘输入)、吃到食物加分的判定、食物的更新4.蛇死亡的判定条件设计二、主要模块1.pygame2.sys3.ran原创 2021-08-18 23:28:59 · 2021 阅读 · 0 评论 -
Python简易贪吃蛇小游戏(单人模式)
简单用py写了一个贪吃蛇游戏,有单人、双人模式,比较简单,适合初学者练手。这里先介绍单人模式一、游戏设计要点1.游戏主体窗口(尺寸)、画布(尺寸、位置)、按钮(尺寸、位置)、文字(大小、颜色、位置)、图像、背景音乐及相关响应函数(主要是鼠标移动及点击的响应)的设计与合理排布2.蛇与食物的类的属性设计3.蛇位置的更新(根据键盘输入)、吃到食物加分的判定、食物的更新4.蛇死亡的判定条件设计二、主要模块1.pygame2.sys3.random三、用到的类1.Snake类,定义蛇头蛇身元素原创 2021-08-18 23:16:25 · 1747 阅读 · 0 评论 -
Python selenium自动化刷问卷+绕过智能验证
学校思政实践要收集1500份问卷,待在家里无聊就简单写了个用selenium模块实现的自动填写问卷xing问卷的小程序。 基本思路很简单: 1.先打开问卷的网址,按F12进开发者模式分析页面HTML,找到题目的选项按钮对应的HTML代码(例如:Q1的四个选项按钮都在a标签内,且rel属性值分别为q1_1,q1_2,q1_3,q1_4); 2.在py中用slenium的find_element_by_xpath+click()方法实现模拟点击按钮,例如:q1 = random()if 0原创 2021-08-16 20:15:36 · 9307 阅读 · 14 评论 -
Python操作MySQL数据库实现数据导入
主要参考了博文python3基础:操作mysql数据库这篇文章写的很详细,基本上把用Python操作MySQL的各种操作都详细解释了,也有配图。注:在使用Python进行操作之前,首先需要在本地的MySQL Command Line Client命令行客户端中实现用户注册、登录、创建数据库、数据表、定义表中的各条目属性等操作,这些操作不在本文中叙述。一、操作流程引用API模块获取与数据库的连接执行sql语句与存储过程关闭数据库连接二、具体操作1.安装pymysqlpython3 与M原创 2021-08-11 22:38:22 · 4113 阅读 · 0 评论 -
Python爬虫学习-简单爬取网页数据
疫情宅家无事,就随便写一些随笔吧QwQ… 这是一篇介绍如何用Python实现简单爬取网页数据并导入MySQL中的数据库的文章。主要用到BeautifulSoup requests 和 pymysql。 以网页https://jbk.39.net/mxyy/jbzs/为例,假设我们要爬取的部分数据如下图所示:一、准备工作 1.导入BeautifulSoup和requests库:from bs4 import BeautifulSoupimport requests 2.要想获得网页h原创 2021-08-11 21:57:31 · 42400 阅读 · 11 评论 -
selenium打开新页面的方法
selenium打开新的标签页转载 2021-07-25 21:16:56 · 2926 阅读 · 0 评论 -
selenium元素定位方法
所有八种定位方法:get_element_by_id() # idget_element_by_name() # nameget_element_by_class_name() # class_nameget_element_by_tag_name() # tag_nameget_element_by_link_text() # link_textget_element_by_partial_link_text() # 部分link_textget_element_by_xpa.原创 2021-07-25 21:15:02 · 395 阅读 · 0 评论