- 博客(84)
- 收藏
- 关注
原创 python的ndarray对象的dtype
在Python中,ndarray对象是numpy库中用于处理多维数组的核心对象。每个ndarray对象都有一个dtype属性,该属性描述了数组中元素的类型。subdtype:元素类型是子数组的情况下,子数组的dtype和形状。fields:如果是字段类型,则包含描述字段的名称和数据类型的字典。itemsize:数据类型的大小(以字节为单位)。alignment:数据类型的对齐要求。type:对应的Python类型。name:数据类型的名称。shape:数据的维度。
2024-07-13 21:20:52
223
原创 python的eval()函数
例如,如果需要执行简单的数学运算,可以使用 eval() 的更安全的替代方法 ast.literal_eval()。eval() 中的代码将修改局部变量 x 的值。需要注意的是,eval() 函数默认情况下使用调用 eval() 的上下文的命名空间。'" 转换为字符串。d.文档和注释:在代码中提供清晰的文档和注释,以说明为什么需要使用 eval(),并确保其他开发人员了解代码的含义和潜在的风险。然而,使用 eval() 函数需要谨慎,因为它可以执行任意的代码,可能导致安全风险和不受控制的行为。
2024-06-28 17:32:27
582
原创 什么是GPU
在我们的大脑中,左脑主要负责逻辑、文字、语言、分析、数字、次序,右脑则主要负责颜色、音乐、想象、空间感觉、直觉、图形等活动;GPU(Graphics Processing Unit)是图形处理单元,它是显卡(Graphics Card)的核心部件,负责执行复杂的数学和几何计算,以渲染图像、视频和其他图形内容。新兴技术趋势如光线追踪、DLSS、AI加速等功能将进一步提升GPU的价值,未来可能的技术发展方向包括更高程度的并行化、更低功耗设计、更强大的AI计算能力等。(我还做过一期显卡,感兴趣可以看一下)
2024-06-17 18:50:17
948
原创 水平扩容 VS 垂直扩容(数据库举例)
大家可以看到,这整个过程当中,对业务来说基本上没有什么影响——进行主备切换,如果换IP的话,其实是通过前端的或者VIP的方式,对业务来说基本上没有什么影响。实际上在整个水平扩容的过程中,不同的架构或者不同的方式,对性能影响是比较大的。水平扩容最大的优点是解决了垂直扩容的问题——理论上水平扩容可以进行无限扩容,它可以通过增加机器的方式来动态适应业务的需求。因为,我们知道,大家在云上购买一个数据库或者购买一个实例,其实是按需分配的,就是说对用户而言,可能当前的业务量不大,只需要两个CPU或者是几G的内存;
2024-06-17 18:35:35
412
原创 python的ne.set_num_threads()函数
numexpr还有一个重要的加速利器,多线程操作。通过 ne.set_num_threads(1) 可以设置线程的数量,更多的线程表示程序可以同时对数学表达式进行计算。作者:计算机与AI https://www.bilibili.com/read/cv7970594/ 出处:bilibili。如上所示,如果我们设置单线程,程序运行需要13.4 ms。设置了双线程,速度则可以提升一倍。
2024-06-17 18:10:16
130
原创 python---之table写hdf5文件
本文将从tables的读,写,以及一些简单的操作进行简要描述。使得tables这个tool能够为我们所用。首先,我们先介绍下HDF5(Hierarchical Data Format).HDF 是用于存储和分发科学数据的一种自我描述、多对象文件格式。HDF 是由美国国家超级计算应用中心(NCSA)创建的,以满足不同群体的科学家在不同工程项目领域之需要。HDF 可以表示出科学数据存储和分布的许多必要条件。其有以下一些特征:HDF文件是安装树状结构组织起来的。
2024-06-17 14:57:36
1017
原创 python数组计算:不适合在内存计算的情况
在【python金融大数据分析】书的177页,提到“不适合于内存的基于数组的计算”。-------我理解这句话的意思是:数组计算如果数据量很大,可能不适合在内存计算。如果数据量不大,那应该可以在内存中计算。是否理解正确,可后续验证。
2024-06-17 11:19:10
119
原创 HDF5 数据库及 h5p
HDF5 拥有一系列的优异特性,使其特别适合进行大量科学数据的存储和操作,如它支持非常多的数据类型,灵活,通用,跨平台,可扩展,高效的 I/O 性能,支持几乎无限量(高达 EB)的单文件存储等,详见其官方介绍:https://support.hdfgroup.org/HDF5/。用 h5py 操作 HDF5 文件,我们可以像使用目录一样使用 group,像使用 numpy 数组一样使用 dataset,像使用字典一样使用属性,非常方便和易用。HDF5 数据库,又称HDF5文件。我们只介绍 h5py。
2024-06-17 11:13:49
241
原创 python的tables.flush()函数
flush()方法通常和close()方法一起使用,即在最后调用close()方法之前,先调用flush()方法,以确保所有的数据都被写入到文件中。
2024-06-14 17:10:29
116
原创 python的np.range()函数
其中,start表示序列起始值(默认为0),stop表示序列终止值,不包括该值,即生成的序列中最大值为stop-1,step表示序列步长(默认为1)。在上述代码中,我们调用range()函数生成一个包含0~4的整数序列,并将其转换为列表类型,最后打印输出该列表。在每次循环中,将序列的当前元素赋值给变量i,并将其打印输出。其中,start是指定的起始值,stop是指定的停止值(不包含在序列中),step是指定的步长。这段代码将生成一个列表:[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]。
2024-06-14 16:06:47
360
原创 python的__name__属性
一个模块被另一个程序第一次引入时,其主程序将运行。如果我们想在模块被引入时,模块中的某一程序块不执行,我们可以用__name__属性来使该程序块仅在该模块自身运行时执行。每个模块都有一个__name__属性,当其值是'__main__'时,表明该模块自身在运行,否则是被引入。底下是双下划线, _ _ 是这样去掉中间的那个空格。print('程序自身在运行')print('我来自另一模块')
2024-06-14 15:31:52
240
原创 python的pd.read_excel()函数
如果Excel文件的表头不在第一行,可以通过header参数指定表头所在的行号。通过这个函数,我们可以轻松地将Excel表格中的数据加载到pandas的DataFrame对象中,进而进行各种数据分析和操作。使用read_excel()函数读取Excel文件时,需要指定文件的路径和名称。如果Excel文件中有多个工作表,可以通过sheet_name参数指定要读取的工作表。如果Excel文件没有表头,可以将header参数设置为None,并在读取后手动设置列名。这两个参数可以组合使用,以实现更灵活的数据读取。
2024-06-14 14:22:22
752
原创 python的.hist()函数
plt.hist函数用于绘制直方图。直方图是一种用来表示数据分布的图形,它将数据分成若干个区间,然后统计每个区间中数据的数量,最终以柱状图的形式展示出来。直方图主要用于可视化数据的分布情况。它将数据划分为一系列的区间(也称为箱子或柱子),然后计算每个区间内数据点的数量。这些数量通常用柱状图表示,柱子的高度表示该区间内数据点的数量。
2024-06-14 14:11:07
313
原创 python的pandas.to_csv()函数
默认情况下,CSV 文件中的列顺序与 DataFrame 中的列顺序相同。但是,有时我们可能希望按照特定的顺序导出列。这时,我们可以使用 DataFrame 的reindex()方法来重新排序列。1234# 假设我们想要按照 'Name', 'Age', 'City' 的顺序导出列通过本文的介绍,我们了解了如何将 Pandas 的运行结果导出为 CSV 文件,并探讨了处理大数据集、自定义列顺序、处理日期和时间、压缩 CSV 文件等方面的进阶技巧和注意事项。
2024-06-14 11:18:43
896
原创 python的pandas.read_csv()函数
read_csv()函数是Pandas库中一个非常重要的函数,它为我们提供了一个方便、高效的方式来读取CSV文件。通过掌握read_csv()函数的基本用法和参数,我们可以轻松地处理各种CSV文件,并进行数据分析和处理。
2024-06-14 10:46:47
1932
原创 python的pandas.read_sql()函数
read_sql是Pandas提供的用于从数据库读取数据的方法。它允许我们执行SQL查询并将结果直接转换为DataFrame。版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。原文链接:https://blog.csdn.net/weixin_52908342/article/details/136119146。params:SQL查询中的参数,可以使用字典形式提供。parse_dates:指定需要解析为日期时间的列。sql:SQL查询语句,必须提供。
2024-06-14 10:13:43
288
原创 python的np.array()函数
{'quicksort', 'mergesort', 'heapsort', 'stable'}(2)np.random.randint(4, 9, size=(3, 5)) 生成一个三行五列的正数矩阵。data={'小写':['a','b','c'],'大写':['A','B','C']}#输出: [1 4 5] (获取数组中(0,0),(1,1)和(2,0)位置处的元素)(start:起始数字 end:结束 Num:要生成的样本数)out:用于存储输出的数组。
2024-06-13 17:27:44
1433
原创 python的execute、executemany()函数
记得在关闭连接前,想让insert 语句 插入数据库里面去需要加上这个 ,增删改都要加上commit()password=mysql_pwd, # mysql服务端密码。host=mysql_host, # mysql服务端ip。用列表 把多个元组括起来 可以传递多条记录, 一个元组对应一条记录。user=mysql_user, # mysql 账号。# 想让insert 语句 插入数据库里面去需要加上这个。port=port, # mysql端口。# 执行完sql语句要关闭游标和mysql连接。
2024-06-13 17:03:38
373
原创 Python从Oracle数据库中获取数据——fetchall(),fetchone(),fetchmany()函数功能分析
1、fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()# fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()# fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()# fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()# fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()
2024-06-13 16:47:19
675
原创 Python的np.save()函数
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。np.save() 是 NumPy 库中的一个函数,用于将数组保存到 .npy 文件中。原文链接:https://blog.csdn.net/qq_22734027/article/details/134859251。do_compression:布尔值,决定是否应该对文件进行压缩。fix_imports:布尔值,决定是否应该尝试修复不兼容的导入。file:要保存到的 .npy 文件的路径。
2024-06-13 16:11:07
374
原创 【Python】中的X[:,0]、X[0,:]、X[:,:,0]、X[:,:,1]、X[:,m:n]、X[:,:,m:n]和X[: : -1]
比如说我有一个list = [1,2,3,4,5,6,7,7,8] 我想访问从倒数第一位到倒数第三位怎么做到?x[m,n]是通过numpy库引用数组或矩阵中的某一段数据集的一种写法,m代表第m维,n代表m维中取第几段特征数据。list[::-1]是将列表反过来,一种是先反过来,然后取前三位;List[-3:] [: : -1],即先取后三位7,7,8 ,再反过来,8,7,7。X[:,0]表示对一个二维数组,取该二维数组第一维中的所有数据,第二维中取第0个数据。x[:,n]或者x[n,:]
2024-06-13 16:00:40
537
原创 python的np.zeros函数
通过示例代码,演示了如何使用np.zeros函数来创建全零数组,控制数据类型和内存布局顺序,以及在不同领域中的实际应用。np.zeros是NumPy库中的一个函数,用于创建一个指定形状(shape)和数据类型(dtype)的全零数组。np.zeros函数不仅可以创建二维数组,还可以创建多维数组。在图像处理中,可以使用np.zeros来创建新图像的初始化数组,然后对其进行各种操作,如滤波、绘制、合成等。order:数组元素在内存中的排列顺序,可选参数,可以是’C’(按行排列)或’F’(按列排列)。
2024-06-13 15:33:01
444
原创 Python len()方法
usr/bin/env python # coding=utf-8 str = "runoob" print( len(str) ) # 字符串长度 l = [1,2,3,4,5] print( len(l) ) # 列表元素个数。Python len() 方法返回对象(字符、列表、元组等)长度或项目个数。
2024-06-13 14:31:16
196
原创 Python中Numpy的np.arange
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。原文链接:https://blog.csdn.net/weixin_64123373/article/details/132251279。np.arange 是用于创建等差整数序列的函数。返回一个包含起始值和终止值之间等差序列的一维数组。stop:序列的终止值,生成的数组不包括此值。step:序列中的值之间的步长,默认为1。start:序列的起始值,默认为0。dtype:输出数组的数据类型。
2024-06-13 14:27:17
459
原创 nosql数据库的特点
云计算具有很好的水平扩展能力,可以根据资源使用情况进行自由伸缩,各种资源可以动态加人或退出,NoSQL数据库可以凭借自身良好的横向扩展能力,充分自由利用云计算基础设施,很好地融人到云计算环境中,构建基于NoSQL的云数据库服务。数据库保存的数据是“硬状态”时,可以保证数据一致性,即保证数据一直是正确的。高可用也是nosql很明显的一个特点,nosql在不太影响性能的情况之下,就能够非常方便的实现高可用的架构,典型的例如:Cassandra、HBase模型,通过模型的话也可以实现高可用。
2024-06-13 11:07:49
623
原创 python的np.random.standard_normal()函数
返回标准正态分布(均值=0,标准差=1)的概率密度随机数, size默认为None(返回1个随机数),也可以为int或数组。
2024-06-13 09:22:16
264
原创 python的%time 、%%time 、%timeit、%%timeit的区别
它不仅对紧跟其后的代码发挥作用,通过换行符添加的其余代码,会被视为一个整体进行测试。-c: 使用time.clock来测量时间,这是Windows上的默认设置,用于测量实际时间。-r : 重复次数,每个重复次数由个循环组成,并获得最佳结果。%%timeit: 在单元模式下,执行代码块若干次,取最佳结果。%timeit: 在行模式下,执行代码块若干次,取最佳结果。%%time:在单元模式下,代码运行一次所花费的时间。%time: 在行模式下,代码运行一次所花费的时间。
2024-06-12 17:47:51
692
原创 python的pickle.dump()和pickle.load()
pickle.dump()是Python标准库中的一个函数,用于将Python对象序列化并保存到文件中。函数签名:pickle.dump(obj, file, protocol=None, fix_imports=True, buffer_callback=None)obj:要序列化的Python对象。file:要保存到的文件对象。一个具有 write() 方法的文件类对象。可以是一个文件名的字符串,也可以是一个已经打开的文件对象。protocol:可选参数,指定序列化的协议版本。可以是 0 到最高支持的协
2024-06-12 17:27:51
598
原创 python实现高斯(Gauss)迭代自动计算
输入系数矩阵mx、值矩阵mr、迭代次数n,即可得到答案。本人在原博主的代码基础上优化了数据输出形式,原文链接:python实现高斯(Gauss)迭代法_python中gausspp-CSDN博客运算结果如下图:
2024-06-12 17:13:50
250
原创 python的PyTables库
你可以访问的文件,一些使用和介绍这里的例子。它的特点是一个面向对象的接口,结合性能的代码的关键部分的C扩展(使用Cython),使得它快速,使用工具的交互浏览但非常容易,过程和检索大量数据。PyTables的一个重要特征是,它优化了内存和磁盘资源,数据需要更少的空间(特别是如果在飞行中使用压缩)比其他的解决方案如关系或面向对象的数据库。支持大型数据集:PyTables 可以处理非常大的数据集,可以将数据存储在单个文件中,并且可以高效地读取和写入部分数据,而不需要加载整个数据集到内存中。
2024-06-12 15:29:59
294
原创 Python的apply()函数
在Python中,apply函数是一种非常有用的函数,它可以将一个函数应用到某个对象上。这个函数可以是Python内置的函数,也可以是自定义的函数。在Python 2中,apply函数位于__builtin__模块中,而在Python 3中,apply函数已经被移除。这个函数可以是我们自己定义的,也可以使用Python内置的函数。通过上述步骤,我们可以使用apply函数将一个函数应用到对象上,并得到结果。下面是apply函数的使用流程,在小白理解流程之后,我们将逐步进行详细的代码解释。
2024-06-12 14:19:17
647
原创 Python自定义函数和参数介绍
在Python编程中,可以使用已经定义好的函数,也可以自定义函数实现某些特殊的功能。在Python中,自定义函数的语法如下所示def 函数名(参数):函数体其中,def是关键字;之后跟的是函数名,通过函数名来调用该函数;函数名之后是一个圆括号,圆括号内部是函数的参数,通过参数可以将数据传递到函数内部;函数体是函数实现的功能。需要注意的是(1)在圆括号之后有冒号(2)函数体要有缩进。图1的代码中代码自定义了一个名为func的函数。图1 自定义函数func。
2024-06-11 18:03:53
971
原创 python的resample()函数
在Python中,resample()函数是一个常用的工具,用于对时间序列数据进行重新采样。这个函数可以将时间序列数据从一个频率转换为另一个频率,比如将每天的数据转换为每月的数据。在本教程中,我将向你展示如何使用resample()函数,并解释每个步骤的具体含义。比如,如果我们想将每天的数据转换为每月的数据,可以将参数设置为'M'。我们按照流程图中的步骤,导入必要的库、加载数据、创建日期索引、重新采样数据、处理缺失值和绘制结果。在进行重新采样之前,我们需要将数据的索引设置为日期。# 打印重新采样后的数据。
2024-06-11 17:03:13
1172
原创 Python中columns()函数
上述代码中,我们首先创建了一个DataFrame对象,然后使用columns属性查看了DataFrame对象的columns。接下来,我们访问和处理了特定的column,包括使用方括号操作符访问Name列,并使用mean()函数计算了Age列的平均值。每一列代表了特定类型的数据,在一个数据表中,每一行代表了一个数据实例,而每一列则代表了一个特定的特征或属性。通过对columns的处理和分析,我们可以获得关于数据的更多信息,进而进行更深入的数据分析和决策。# 访问和处理特定的column。
2024-06-11 15:49:31
1142
原创 Pythond 的 corr函数
Python中的corr()函数是一个用于计算数据之间相关性的强大工具。corr()函数返回一个相关系数矩阵,其中矩阵的每个元素表示两个变量之间的相关性。相反,如果一个变量的值增加时另一个变量的值减小,我们就说它们具有负相关性。为了更好地理解corr()函数的用法,我们将使用一个示例数据集,该数据集包含了一组学生的数学和物理成绩。相关性的取值范围在-1到1之间,其中-1表示完全负相关,1表示完全正相关,0表示无相关。接下来,我们可以使用corr()函数计算数学和物理成绩之间的相关性。适用于非线性关系和等。
2024-06-11 15:08:34
873
原创 python的np.linspace()函数
np.linspace函数的基本语法如下: 参数说明:下面我们通过几个示例来演示np.linspace函数的用法及其输出。运行结果: 运行结果: 运行结果:
2024-06-07 18:32:47
652
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人