weixin_40994552的博客

使用 pickle，import picklesave_path = "./result/tmp/text_embedding_df.pkl"with open(save_path, 'wb') as f: pickle.dump(df, f)

当处理大数组时，内存可能不够用。numpy 提供了一个函数 np.memmap() 让我们可以处理大数组。np.memmap() 可以读取大磁盘文件中的一小段到内存，所以它占内存较小。

1 a[a[:,0].argsort()]取某列排序之后的索引，然后在原数组中按索引取出数据2 转为pandas DataFrame最好的方式是转为 DataFrame 之后再排序# 按第二列排序，随后是第五列pd.DataFrame(a).sort_values(by=[2,5]).to_numpy()# 按列从左到右pd.DataFrame(a).sort_values().to_numpy()...

1D arrays 在二维数组中被当作行向量，所以在矩阵乘中 (n,) 与 (1, n) 的结果是相同的。1D arrays 经过转置是不能得到列向量的，即 (n,).T => (n,1) 不成立。想要的到列向量，可以使用一个新轴 newaxis在a[:, None] 中，None 被当作 np.newaxis, 会增加一个轴在这个位置因此在 NumPy 中有三种类型的向量， 1D arrays, 2D row vectors, and 2D column vectors...

轴也即相关索引的编号：第一个索引编号 axis=0, 第二个索引编号 axis=1 …np.sum(aij,axis=0) 运算, 指定 axis=0,也即指定 aij 中的第一个索引 i 进行变化，而 j 不变化， 结果就是:b[0] = a[0][0]+a[1][0]b[1] = a[0][1]+a[1][1]b[2] = a[0][2]+a[1][2]...

NumPy之前有 matrix 矩阵类，现在已被弃用，矩阵、二位数组概念相同1 二维数组创建创建随机矩阵

1 计算函数NumPy 中都包含大量数学函数可直接使用点积与叉积三角函数：取近似值：2 统计函数求一般统计值， .argmax(), .argmin() 返回索引值3 排序

1 分片分片和整数混合使用时会生成低维度的数组只使用分片则生成一个和原数组同维度的数组import numpy as np# Create the following rank 2 array with shape (3, 4)# [[ 1 2 3 4]# [ 5 6 7 8]# [ 9 10 11 12]]a = np.array([[1,2,3,4], [5,6,7,8], [9,10,11,12]])# Two ways of accessing the dat

0 NumPy技巧1 打印当数据太大时，打印数组只能显示首位部分数据，当要显示全部数据时，可以设置如下参数np.set_printoptions(threshold=sys.maxsize)2 数据展开a.ravel()方法将 ndarray 展开成一维>>> a = np.array([[3., 7., 3., 4.], [1., 4., 2., 2.], [7., 2., 4., 9.]])>>> print(a.ravel()