![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
文章平均质量分 75
今晚务必早点睡
Python程序员,互联网从业者,热爱编程,有问题欢迎私信
展开
-
【完整代码】Python代码,实现selenium页面元素找不到超时时,刷新驱动和刷新页面,若能找到,继续执行下一步
Python代码,使用Selenium进行网页自动化操作,页面元素找不到超时时,每隔5秒钟刷新一次页,在这5秒内再找元素,如果刷新了页面5次后还找不到,重启驱动后,继续每隔5秒钟刷新一次页,在这5秒内再找元素,如果刷新了页面5次后还找不到,重启驱动后,继续,就这样大循环三次后还找不到,退出驱动。原创 2024-07-27 17:00:00 · 233 阅读 · 0 评论 -
Python使用selenium访问网页完成登录——装饰器重试机制汇总
是一个强大的装饰器库,可以更轻松地编写装饰器,特别是处理复杂逻辑时。类装饰器可以更灵活地管理状态,并且可以更好地组织复杂的逻辑。使用闭包使代码更简洁。原创 2024-07-26 12:00:00 · 351 阅读 · 0 评论 -
【进阶】Python使用selenium 访问网页完成登录操作页面异常时——最全重试机制汇总
代码解释异常处理通过这种方式,可以更全面地处理登录过程中可能遇到的异常,并实现自动重试机制,提高登录操作的成功率和稳定性。使用装饰器可以使代码更加简洁和模块化:思路三:使用更复杂的异常处理和恢复机制在捕获异常时,可以尝试恢复或刷新页面,然后再重试登录操作:思路四:结合日志记录与重试可以加入日志记录机制,在每次重试时记录详细信息,便于后续排查问题:思路五:使用递归实现重试机制使用递归调用函数来实现重试机制,这种方法可以使代码更加简洁:思路六:结合外部配置文件管理重试参数将重试次数等参数放到配置原创 2024-07-25 23:30:05 · 700 阅读 · 0 评论 -
Python数据结构去重操作汇总【收藏版】
为自定义类提供更加复杂的去重逻辑。原创 2024-07-24 09:00:00 · 842 阅读 · 0 评论 -
Pandas使用 `iloc` 和 `loc` 常见用法汇总
是基于整数位置的选择方法,用于按位置索引选择数据。获取第一行:获取 DataFrame 的第一行。获取最后一行:获取 DataFrame 的最后一行。获取第一列:获取 DataFrame 的第一列。获取最后一列:获取 DataFrame 的最后一列。获取第一行和第一列的值:获取 DataFrame 的第一行第一列的值。获取最后一行和最后一列的值:获取 DataFrame 的最后一行最后一列的值。获取前五行:获取 DataFrame 的前五行。获取最后三行:获取 DataFrame 的最后三行原创 2024-07-18 08:00:00 · 835 阅读 · 0 评论 -
使用Pandas读取Excel文件将特定列转成str格式方法汇总
参数来确保特定列的数据类型为字符串。原创 2024-07-17 22:51:32 · 668 阅读 · 0 评论 -
MySQL从入门到精通——基础篇
CREATE DATABASE [ IF NOT EXISTS ] 数据库名 [ DEFAULT CHARSET 字符集] [COLLATE 排序规则 ];DROP DATABASE [ IF EXISTS ] 数据库名;USE 数据库名;注意事项UTF8字符集长度为3字节,有些符号占4字节,所以推荐用utf8mb4字符集用户定义变量 是用户根据需要自己定义的变量,用户变量不用提前声明,在用的时候直接用 “@变量名” 使用就可以。其作用域为当前连接。1). 赋值。原创 2024-04-07 21:10:51 · 1480 阅读 · 1 评论 -
实操案例:大量数据需要下载,线程池,进程池,协程哪种好呢?
实操案例:大量数据需要下载,线程池,进程池,协程哪种好呢?原创 2024-01-16 08:00:00 · 1519 阅读 · 1 评论 -
九行代码爬取上下五千年描写春天的诗名
【代码】九行代码爬取上下五千年描写春天的诗名。原创 2023-08-29 14:51:10 · 110 阅读 · 0 评论 -
数据分析之SQL面试真题
数据分析之SQL原创 2022-07-25 23:17:29 · 220 阅读 · 1 评论 -
数据分析——从入门到精通(二十)
城市气候与海洋的关系研究import numpy as npimport pandas as pd from pandas import Series,DataFrameimport matplotlib.pyplot as plt%matplotlib inlineplt.rcParams['font.sans-serif'] = ['SimSun']plt.rcParams['axes.unicode_minus'] = False导入数据各个海滨城市数据os.listdir(原创 2022-04-15 01:33:38 · 521 阅读 · 0 评论 -
数据分析——从入门到精通(十九)
import numpy as npimport matplotlib.pyplot as plt%matplotlib inlineplt.rcParams['font.sans-serif'] = ['SimSun']# plt.rcParams['axes.unicode_minus'] = Falseplt.rc('axes',unicode_minus=False)直方图普通直方图 plt.hist(x,bins=100,color=‘m’,orientation=‘verti原创 2022-04-14 22:43:07 · 505 阅读 · 0 评论 -
数据分析——从入门到精通(十八)
import numpy as npimport matplotlib.pyplot as plt# 画线性图plt.plot([0.2,0.5,0.8,1],[0.4,1.0,0.8,1.2]) # 返回绘制的内容[<matplotlib.lines.Line2D at 0x1461590>]x = np.arange(0,6,0.01)y = x ** 2plt.plot(x,y)[<matplotlib.lines.Line2D at 0x198bbd0原创 2022-04-14 18:23:55 · 323 阅读 · 0 评论 -
数据分析——从入门到精通(十七)
import numpy as npimport pandas as pdimport matplotlib.pyplot as plt1.数据载入和总览1.1数据载入election = pd.read_csv('data2/usa_election.txt',low_memory=False)election.head() cmte_id cand_id cand_nm contbr_nm原创 2022-04-14 11:58:05 · 1576 阅读 · 0 评论 -
数据分析——从入门到精通(十六)
Scipy库Scipy依赖于NumpyScipy提供了真正的矩阵Scipy包含的功能:最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理、图像处理、常微分方程求解器等Scipy是高端科学计算工具包Scipy由一些特定功能的子模块组成import numpy as npfrom scipy import io数组的数据存储与加载io.savemat()io.loadmat()# 创建二维数组data = np.random.randint(1,100,si原创 2022-04-13 16:09:52 · 1338 阅读 · 0 评论 -
数据分析——从入门到精通(十五)
数据透视表数据透视表(Pivot Table)是一种交互式的表,可以进行某些计算,如求和与计数等。所进行的计算与数据跟数据透视表中的排列有关。之所以称为数据透视表,是因为可以动态地去改变它们的版面布置,以便按照不同方式分析数据,也可以重新安排行号、列标和页字段每一次改变版面布置时,数据透视表会立即按照新的布置重新计算数据。另外,如果原始数据发生更改,则可以更新数据透视表。import numpy as npimport pandas as pd from pandas import Se原创 2022-04-13 10:56:44 · 271 阅读 · 0 评论 -
数据分析——从入门到精通(十四)
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame加载文本数据pd.read_csv()pd.read_table() # deprecated在当前版本过时pd.read_json()pd.read_csv('data/adults.txt') age workclass final_weight原创 2022-04-10 12:54:28 · 1277 阅读 · 0 评论 -
数据分析——从入门到精通(十三)
import numpy as npimport pandas as pd from pandas import Series,DataFrameimport matplotlib.pyplot as plt# 当前文档显示matplotlib的图像:可视化%matplotlib inlines1 = Series(np.random.randint(100,150,size=20))s10 1271 1242 1433 1394 13原创 2022-04-09 22:27:43 · 828 阅读 · 0 评论 -
数据分析——从入门到精通(十二)
import numpy as npimport pandas as pd from pandas import Series,DataFrameimport matplotlib.pyplot as plt# 当前文档显示matplotlib的图像:可视化%matplotlib inline# 读取数据 data/AAPL.csvapple = pd.read_csv('data/AAPL.csv')apple.head() Dat原创 2022-04-09 18:40:36 · 284 阅读 · 0 评论 -
数据分析——从入门到精通(十一)
删除数据drop(labels,axis=0,index,columns) 删除在axis轴上的指定labels索引标签的数据删除多行或多列dropna(axis=None,how=‘any|all’)删除存在NAN值的行或列drop_duplicates(keeps=‘first|last’)删除重复行的数据,keep指定保留行的第一列还是最后一列import numpy as npimport pandas as pd from pandas import DataFrame,原创 2022-04-09 15:32:25 · 738 阅读 · 0 评论 -
数据分析——从入门到精通(十)
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame加载数据data/state-areas.csvdata/state-abbrevs.csvdata/state-population.csvareas = pd.read_csv('data/state-areas.csv')abbr = pd.read_csv('data/state-abbrevs.csv')popu = pd.rea原创 2022-04-08 20:53:18 · 534 阅读 · 0 评论 -
数据分析——从入门到精通(九)
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame,MultiIndex数据级联将两个DataFrame或Series进行拼接,按索引标签对齐pd.conncat() 列拼接pd.append() 行拼接# 创建成绩表df1 = DataFrame(np.random.randint(1,150,size=(6,3)),['甲','乙','丙','丁','戊','己'],['Pytho原创 2022-04-08 12:58:55 · 187 阅读 · 0 评论 -
数据分析——从入门到精通(八)
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame,MultiIndex# 创建北京,上海,广州三地的2018-2020年每月的平板、手机和手表的销量情况sales = DataFrame( np.random.randint(50,150,size=(9*12,3)), MultiIndex.from_product([['北京','上海','广州'],原创 2022-04-08 11:25:05 · 172 阅读 · 0 评论 -
数据分析——从入门到精通(七)
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame,MultiIndex,Index,RangeIndex创建多层索引的方式MultiIndex.from_array()MultiIndex.from_tuple()MultiIndex.from_product()# 创建甲、乙 两地(第一季度(三个月))的手机、平板和手表的销量情况data = np.random.randint(50,10原创 2022-04-07 21:21:09 · 276 阅读 · 0 评论 -
数据分析——从入门到精通(六)
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame练习假设a是期中考试成绩,b是期末考试成绩,请自由创建b,并将其与a相加,求期中期末的平均值假设张三期中考试数学被发现作弊,要记为0分,如何实现?张六因为举报张三作弊有功,期中考试所有科目成绩加5分,如何实现?后来老师发现有一道题出错了,为了安抚学生情绪,给每位学生a的科目都加20分,如何实现?张二的语文,张四的物理,张六的地理未考,设置为NAN原创 2022-04-07 15:01:35 · 473 阅读 · 0 评论 -
数据分析——从入门到精通(五)
DataFrame创建的方式(同Series)ndarray或list方式dict方式通过series的级联操作创建20名同学的5门课程的成绩学号从0001开始课程分别是Python,MySQL,Oracle,Flask,Django成绩的范围是0-100之间(包含100)import numpy as npimport pandas as pdfrom pandas import Series,DataFramescores = np.random.randint(101,原创 2022-04-07 10:59:03 · 1632 阅读 · 0 评论 -
数据分析——从入门到精通(四)
import numpy as npimport pandas as pd from pandas import Series创建Pandas课程20名同学的成绩,以学号为索引,开始学员以"0001"开始# 填充 给"1"右填充4位,不够补"0""1".rjust(4,"0")[out]:'0001'[int]:# 创建一维数组data = np.random.randint(1,150,size=20) # low, high=None, size=None, dtype='原创 2022-04-06 21:18:56 · 1617 阅读 · 0 评论 -
数据分析——从入门到精通(三)
什么是PandasPython Data Analysis Library或pandas是基于NumPy的一种工具,该工具是为了解决数据分析任务而创建的Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具Pandas 提供了大量能使我们快速便捷地处理数据的函数和方法它使Python成为强大而高效的数据分析环境的重要因素之一可以理解为带标签的NumPy数组Pandas包含两种重要的类Series是一个类似一维数组的数据结构DataFrame数据帧,类似于E原创 2022-04-06 18:22:29 · 1346 阅读 · 0 评论 -
数据分析——从入门到精通(二)
排序方法np.sort(a,axis=-1,kind=“quicksort”) 创建a的副本进行数据元素的排列,不影响原有数据ndarray.sort(axis=-1,kind=“quicksort”) 在数组对象上直接进行排序,会影响原有数据np.argsort(a) 将元素排序之后,将元素所在的位置(index)返回,返回的是一个索引数组,可以作为行索引去使用np.partition(a,kth,axis=-1) 部分排序, 如果kth是正值,排序结果保原创 2022-04-06 13:34:55 · 543 阅读 · 0 评论 -
数据分析——从入门到精通(一)
Date_Analysis1.环境安装1.安装Anaconda,进入官网https://www.anaconda.com/Anaconda集成了当前系统下,大多数Python的模块库,包含了1500+/R的用于科学技术的数据包,是一个环境集。conda工具,便于管理依赖库及创建虚拟环境anaconda2常用于python2 anaconda3常用于python3.7及以上按住window +R,输入:cmd,点击回车。试着运行下面代码:接着执行:2.jupyter notebook基原创 2022-04-06 13:31:03 · 1173 阅读 · 0 评论