changzi990的博客

原创 python的ndarray对象的dtype

在Python中，ndarray对象是numpy库中用于处理多维数组的核心对象。每个ndarray对象都有一个dtype属性，该属性描述了数组中元素的类型。subdtype：元素类型是子数组的情况下，子数组的dtype和形状。fields：如果是字段类型，则包含描述字段的名称和数据类型的字典。itemsize：数据类型的大小（以字节为单位）。alignment：数据类型的对齐要求。type：对应的Python类型。name：数据类型的名称。shape：数据的维度。

原创 python的numexpr库的set_num_threads()函数

Numexpr支持多线程计算，可以通过。函数来设置使用的线程数。

原创 python的eval（）函数

例如，如果需要执行简单的数学运算，可以使用 eval() 的更安全的替代方法 ast.literal_eval()。eval() 中的代码将修改局部变量 x 的值。需要注意的是，eval() 函数默认情况下使用调用 eval() 的上下文的命名空间。'" 转换为字符串。d.文档和注释：在代码中提供清晰的文档和注释，以说明为什么需要使用 eval()，并确保其他开发人员了解代码的含义和潜在的风险。然而，使用 eval() 函数需要谨慎，因为它可以执行任意的代码，可能导致安全风险和不受控制的行为。

原创 什么是GPU

在我们的大脑中，左脑主要负责逻辑、文字、语言、分析、数字、次序，右脑则主要负责颜色、音乐、想象、空间感觉、直觉、图形等活动；GPU（Graphics Processing Unit）是图形处理单元，它是显卡（Graphics Card）的核心部件，负责执行复杂的数学和几何计算，以渲染图像、视频和其他图形内容。新兴技术趋势如光线追踪、DLSS、AI加速等功能将进一步提升GPU的价值，未来可能的技术发展方向包括更高程度的并行化、更低功耗设计、更强大的AI计算能力等。（我还做过一期显卡，感兴趣可以看一下）

原创 水平扩容 VS 垂直扩容（数据库举例）

大家可以看到，这整个过程当中，对业务来说基本上没有什么影响——进行主备切换，如果换IP的话，其实是通过前端的或者VIP的方式，对业务来说基本上没有什么影响。实际上在整个水平扩容的过程中，不同的架构或者不同的方式，对性能影响是比较大的。水平扩容最大的优点是解决了垂直扩容的问题——理论上水平扩容可以进行无限扩容，它可以通过增加机器的方式来动态适应业务的需求。因为，我们知道，大家在云上购买一个数据库或者购买一个实例，其实是按需分配的，就是说对用户而言，可能当前的业务量不大，只需要两个CPU或者是几G的内存；

原创 python的ne.set_num_threads()函数

numexpr还有一个重要的加速利器，多线程操作。通过 ne.set_num_threads(1) 可以设置线程的数量，更多的线程表示程序可以同时对数学表达式进行计算。作者：计算机与AI https://www.bilibili.com/read/cv7970594/ 出处：bilibili。如上所示，如果我们设置单线程，程序运行需要13.4 ms。设置了双线程，速度则可以提升一倍。

原创 python---之table写hdf5文件

本文将从tables的读，写，以及一些简单的操作进行简要描述。使得tables这个tool能够为我们所用。首先，我们先介绍下HDF5（Hierarchical Data Format）.HDF 是用于存储和分发科学数据的一种自我描述、多对象文件格式。HDF 是由美国国家超级计算应用中心（NCSA）创建的，以满足不同群体的科学家在不同工程项目领域之需要。HDF 可以表示出科学数据存储和分布的许多必要条件。其有以下一些特征：HDF文件是安装树状结构组织起来的。

原创 python数组计算：不适合在内存计算的情况

在【python金融大数据分析】书的177页，提到“不适合于内存的基于数组的计算”。-------我理解这句话的意思是：数组计算如果数据量很大，可能不适合在内存计算。如果数据量不大，那应该可以在内存中计算。是否理解正确，可后续验证。

原创 HDF5 数据库及 h5p

HDF5 拥有一系列的优异特性，使其特别适合进行大量科学数据的存储和操作，如它支持非常多的数据类型，灵活，通用，跨平台，可扩展，高效的 I/O 性能，支持几乎无限量（高达 EB）的单文件存储等，详见其官方介绍：https://support.hdfgroup.org/HDF5/。用 h5py 操作 HDF5 文件，我们可以像使用目录一样使用 group，像使用 numpy 数组一样使用 dataset，像使用字典一样使用属性，非常方便和易用。HDF5 数据库，又称HDF5文件。我们只介绍 h5py。

原创 python的tables.flush()函数

flush()方法通常和close()方法一起使用，即在最后调用close()方法之前，先调用flush()方法，以确保所有的数据都被写入到文件中。

原创 python的tables.row

原创 python的np.range（）函数

其中，start表示序列起始值（默认为0），stop表示序列终止值，不包括该值，即生成的序列中最大值为stop-1，step表示序列步长（默认为1）。在上述代码中，我们调用range()函数生成一个包含0~4的整数序列，并将其转换为列表类型，最后打印输出该列表。在每次循环中，将序列的当前元素赋值给变量i，并将其打印输出。其中，start是指定的起始值，stop是指定的停止值（不包含在序列中），step是指定的步长。这段代码将生成一个列表：[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]。

原创 python的__name__属性

一个模块被另一个程序第一次引入时，其主程序将运行。如果我们想在模块被引入时，模块中的某一程序块不执行，我们可以用__name__属性来使该程序块仅在该模块自身运行时执行。每个模块都有一个__name__属性，当其值是'__main__'时，表明该模块自身在运行，否则是被引入。底下是双下划线， _ _ 是这样去掉中间的那个空格。print('程序自身在运行')print('我来自另一模块')

原创 python的pd.read_excel()函数

如果Excel文件的表头不在第一行，可以通过header参数指定表头所在的行号。通过这个函数，我们可以轻松地将Excel表格中的数据加载到pandas的DataFrame对象中，进而进行各种数据分析和操作。使用read_excel()函数读取Excel文件时，需要指定文件的路径和名称。如果Excel文件中有多个工作表，可以通过sheet_name参数指定要读取的工作表。如果Excel文件没有表头，可以将header参数设置为None，并在读取后手动设置列名。这两个参数可以组合使用，以实现更灵活的数据读取。

原创 python的.hist()函数

plt.hist函数用于绘制直方图。直方图是一种用来表示数据分布的图形，它将数据分成若干个区间，然后统计每个区间中数据的数量，最终以柱状图的形式展示出来。直方图主要用于可视化数据的分布情况。它将数据划分为一系列的区间（也称为箱子或柱子），然后计算每个区间内数据点的数量。这些数量通常用柱状图表示，柱子的高度表示该区间内数据点的数量。

原创 python的pandas.to_csv()函数

默认情况下，CSV 文件中的列顺序与 DataFrame 中的列顺序相同。但是，有时我们可能希望按照特定的顺序导出列。这时，我们可以使用 DataFrame 的reindex()方法来重新排序列。1234# 假设我们想要按照 'Name', 'Age', 'City' 的顺序导出列通过本文的介绍，我们了解了如何将 Pandas 的运行结果导出为 CSV 文件，并探讨了处理大数据集、自定义列顺序、处理日期和时间、压缩 CSV 文件等方面的进阶技巧和注意事项。

原创 python的pandas.read_csv()函数

read_csv()函数是Pandas库中一个非常重要的函数，它为我们提供了一个方便、高效的方式来读取CSV文件。通过掌握read_csv()函数的基本用法和参数，我们可以轻松地处理各种CSV文件，并进行数据分析和处理。

原创 python的pandas.read_sql()函数

read_sql是Pandas提供的用于从数据库读取数据的方法。它允许我们执行SQL查询并将结果直接转换为DataFrame。版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/weixin_52908342/article/details/136119146。params：SQL查询中的参数，可以使用字典形式提供。parse_dates：指定需要解析为日期时间的列。sql：SQL查询语句，必须提供。

原创 python的np.array()函数

{'quicksort', 'mergesort', 'heapsort', 'stable'}（2）np.random.randint(4, 9, size=(3, 5)) 生成一个三行五列的正数矩阵。data={'小写':['a','b','c'],'大写':['A','B','C']}#输出： [1 4 5] （获取数组中(0,0)，(1,1)和(2,0)位置处的元素）（start:起始数字 end:结束 Num:要生成的样本数）out:用于存储输出的数组。

原创 python的a[:2]、a[:] 和a [::] 的区别

## :表示索引 0至1行；

原创 python的execute、executemany()函数

记得在关闭连接前，想让insert 语句 插入数据库里面去需要加上这个 ，增删改都要加上commit()password=mysql_pwd, # mysql服务端密码。host=mysql_host, # mysql服务端ip。用列表 把多个元组括起来 可以传递多条记录， 一个元组对应一条记录。user=mysql_user, # mysql 账号。# 想让insert 语句 插入数据库里面去需要加上这个。port=port, # mysql端口。# 执行完sql语句要关闭游标和mysql连接。

原创 Python从Oracle数据库中获取数据——fetchall(),fetchone(),fetchmany()函数功能分析

1、fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()# fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()# fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()# fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()# fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()

原创 Python的np.save()函数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。np.save() 是 NumPy 库中的一个函数，用于将数组保存到 .npy 文件中。原文链接：https://blog.csdn.net/qq_22734027/article/details/134859251。do_compression：布尔值，决定是否应该对文件进行压缩。fix_imports：布尔值，决定是否应该尝试修复不兼容的导入。file：要保存到的 .npy 文件的路径。

原创 【Python】中的X[:,0]、X[0,:]、X[:,:,0]、X[:,:,1]、X[:,m:n]、X[:,:,m:n]和X[: : -1]

比如说我有一个list = [1,2,3,4,5,6,7,7,8] 我想访问从倒数第一位到倒数第三位怎么做到?x[m,n]是通过numpy库引用数组或矩阵中的某一段数据集的一种写法，m代表第m维，n代表m维中取第几段特征数据。list[::-1]是将列表反过来，一种是先反过来，然后取前三位；List[-3:] [: : -1]，即先取后三位7,7,8 ,再反过来，8,7,7。X[:,0]表示对一个二维数组，取该二维数组第一维中的所有数据，第二维中取第0个数据。x[:,n]或者x[n,:]

原创 python的np.zeros函数

通过示例代码，演示了如何使用np.zeros函数来创建全零数组，控制数据类型和内存布局顺序，以及在不同领域中的实际应用。np.zeros是NumPy库中的一个函数，用于创建一个指定形状（shape）和数据类型（dtype）的全零数组。np.zeros函数不仅可以创建二维数组，还可以创建多维数组。在图像处理中，可以使用np.zeros来创建新图像的初始化数组，然后对其进行各种操作，如滤波、绘制、合成等。order：数组元素在内存中的排列顺序，可选参数，可以是’C’（按行排列）或’F’（按列排列）。

原创 Python len()方法

usr/bin/env python # coding=utf-8 str = "runoob" print( len(str) ) # 字符串长度 l = [1,2,3,4,5] print( len(l) ) # 列表元素个数。Python len() 方法返回对象（字符、列表、元组等）长度或项目个数。

原创 Python中Numpy的np.arange

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/weixin_64123373/article/details/132251279。np.arange 是用于创建等差整数序列的函数。返回一个包含起始值和终止值之间等差序列的一维数组。stop：序列的终止值，生成的数组不包括此值。step：序列中的值之间的步长，默认为1。start：序列的起始值，默认为0。dtype：输出数组的数据类型。

原创 nosql数据库的特点

云计算具有很好的水平扩展能力，可以根据资源使用情况进行自由伸缩，各种资源可以动态加人或退出，NoSQL数据库可以凭借自身良好的横向扩展能力，充分自由利用云计算基础设施，很好地融人到云计算环境中，构建基于NoSQL的云数据库服务。数据库保存的数据是“硬状态”时，可以保证数据一致性，即保证数据一直是正确的。高可用也是nosql很明显的一个特点，nosql在不太影响性能的情况之下，就能够非常方便的实现高可用的架构，典型的例如：Cassandra、HBase模型，通过模型的话也可以实现高可用。

原创 python的np.random.standard_normal（）函数

返回标准正态分布(均值=0，标准差=1)的概率密度随机数, size默认为None(返回1个随机数），也可以为int或数组。

原创 python的open函数

在python中使用open函数对文件进行处理。

原创 python的%time 、%%time 、%timeit、%%timeit的区别

它不仅对紧跟其后的代码发挥作用，通过换行符添加的其余代码，会被视为一个整体进行测试。-c： 使用time.clock来测量时间，这是Windows上的默认设置，用于测量实际时间。-r ： 重复次数，每个重复次数由个循环组成，并获得最佳结果。%%timeit： 在单元模式下，执行代码块若干次，取最佳结果。%timeit： 在行模式下，执行代码块若干次，取最佳结果。%%time：在单元模式下，代码运行一次所花费的时间。%time： 在行模式下，代码运行一次所花费的时间。

原创 python的pickle.dump()和pickle.load()

pickle.dump()是Python标准库中的一个函数，用于将Python对象序列化并保存到文件中。函数签名：pickle.dump(obj, file, protocol=None, fix_imports=True, buffer_callback=None)obj：要序列化的Python对象。file：要保存到的文件对象。一个具有 write() 方法的文件类对象。可以是一个文件名的字符串，也可以是一个已经打开的文件对象。protocol：可选参数，指定序列化的协议版本。可以是 0 到最高支持的协

原创 python实现高斯（Gauss）迭代自动计算

输入系数矩阵mx、值矩阵mr、迭代次数n，即可得到答案。本人在原博主的代码基础上优化了数据输出形式，原文链接：python实现高斯(Gauss)迭代法_python中gausspp-CSDN博客运算结果如下图：

原创 python的PyTables库

你可以访问的文件，一些使用和介绍这里的例子。它的特点是一个面向对象的接口，结合性能的代码的关键部分的C扩展（使用Cython），使得它快速，使用工具的交互浏览但非常容易，过程和检索大量数据。PyTables的一个重要特征是，它优化了内存和磁盘资源，数据需要更少的空间（特别是如果在飞行中使用压缩）比其他的解决方案如关系或面向对象的数据库。支持大型数据集：PyTables 可以处理非常大的数据集，可以将数据存储在单个文件中，并且可以高效地读取和写入部分数据，而不需要加载整个数据集到内存中。

原创 Python的apply()函数

在Python中，apply函数是一种非常有用的函数，它可以将一个函数应用到某个对象上。这个函数可以是Python内置的函数，也可以是自定义的函数。在Python 2中，apply函数位于__builtin__模块中，而在Python 3中，apply函数已经被移除。这个函数可以是我们自己定义的，也可以使用Python内置的函数。通过上述步骤，我们可以使用apply函数将一个函数应用到对象上，并得到结果。下面是apply函数的使用流程，在小白理解流程之后，我们将逐步进行详细的代码解释。

原创 Python自定义函数和参数介绍

在Python编程中，可以使用已经定义好的函数，也可以自定义函数实现某些特殊的功能。在Python中，自定义函数的语法如下所示def 函数名(参数):函数体其中，def是关键字；之后跟的是函数名，通过函数名来调用该函数；函数名之后是一个圆括号，圆括号内部是函数的参数，通过参数可以将数据传递到函数内部；函数体是函数实现的功能。需要注意的是（1）在圆括号之后有冒号（2）函数体要有缩进。图1的代码中代码自定义了一个名为func的函数。图1 自定义函数func。

原创 python的resample()函数

在Python中，resample()函数是一个常用的工具，用于对时间序列数据进行重新采样。这个函数可以将时间序列数据从一个频率转换为另一个频率，比如将每天的数据转换为每月的数据。在本教程中，我将向你展示如何使用resample()函数，并解释每个步骤的具体含义。比如，如果我们想将每天的数据转换为每月的数据，可以将参数设置为'M'。我们按照流程图中的步骤，导入必要的库、加载数据、创建日期索引、重新采样数据、处理缺失值和绘制结果。在进行重新采样之前，我们需要将数据的索引设置为日期。# 打印重新采样后的数据。

原创 Python中columns()函数

上述代码中，我们首先创建了一个DataFrame对象，然后使用columns属性查看了DataFrame对象的columns。接下来，我们访问和处理了特定的column，包括使用方括号操作符访问Name列，并使用mean()函数计算了Age列的平均值。每一列代表了特定类型的数据，在一个数据表中，每一行代表了一个数据实例，而每一列则代表了一个特定的特征或属性。通过对columns的处理和分析，我们可以获得关于数据的更多信息，进而进行更深入的数据分析和决策。# 访问和处理特定的column。

原创 Pythond 的 corr函数

Python中的corr()函数是一个用于计算数据之间相关性的强大工具。corr()函数返回一个相关系数矩阵，其中矩阵的每个元素表示两个变量之间的相关性。相反，如果一个变量的值增加时另一个变量的值减小，我们就说它们具有负相关性。为了更好地理解corr()函数的用法，我们将使用一个示例数据集，该数据集包含了一组学生的数学和物理成绩。相关性的取值范围在-1到1之间，其中-1表示完全负相关，1表示完全正相关，0表示无相关。接下来，我们可以使用corr()函数计算数学和物理成绩之间的相关性。适用于非线性关系和等。

原创 python的np.linspace（）函数

np.linspace函数的基本语法如下： 参数说明：下面我们通过几个示例来演示np.linspace函数的用法及其输出。运行结果： 运行结果： 运行结果：