机器学习基础（七）Python知识串讲---科学计算核心

已于 2023-09-13 17:00:48 修改
阅读量77 收藏
点赞数
分类专栏： 机器学习基础 文章标签： 机器学习 python 人工智能
于 2023-09-06 20:30:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/screaming_zz/article/details/132719275
版权

机器学习基础知识笔记

  • 科学计算与数据分析是人工智能基础，数据学（Dataology）和数据科学（DataScience）是关于数据的科学。主要两个内涵：一个是研究数据本身；另一个是为自然科学和社会科学研究提供一种新方法，称为科学研究数据的方法。大量应用到多维矩阵和矢量计算。
  • 机器学习是人工智能的主要领域，也是人工智能的算法核心基础。监督学习模型（特征+标签），非监督学习（只有特征）。前者有分类学习和回归预测，而后者有数据聚类和特征降维。
  • 深度学习的概念源于人工神经网络研究，含多隐层的多层感知器就是一种深度学习结构，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

  • 1. Numpy模块应用基础

    • NumPy是高性能科学计算和数据分析的基础模块包，它是科学计算与数据分析中几乎所有高级工具的构建基础。
    • ndarray：一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组
    • 用于对整数组数据记性快速运算的标准数学函数（无需编写循环）
    • 用于读取磁盘数据的工具以及用于操作内存映射文件的工具
    • 具备线性代数\随机数生成以及傅里叶变换功能
    • 用于集成由C\C++\Fortran等语言编写的代码的工具
    （1）创建NumPy的数组已经矢量化运算
    • 数组很重要，即使不使用复杂的循环语句，也可对数据执行批量了运算，这通常就叫做矢量化运算。
    import numpy as np

# 定义numpy数组
array = np.array([1,2,3,4,5])  # 创建一维数组
print(array)
print([1,2,3,4,5])
print(type(array))

    在这里插入图片描述

    • 大小相等的数组之间的任何算术运算都会将运算应用到元素级。
    #  numpy数组的矢量计算
print(array**2)  # 计算出每个元素的平方
#等价于
for temp in array:
   print(temp**2)
   pass
print(array**0.5)

    在这里插入图片描述

    # 二维数组的矢量化计算
print(array2d**2)

# 三维数组, 多个形状一样的二维数组
array3d = np.array([[[1, 2, 3],
                    [3, 4, 5]],
                   [[6, 7, 8],
                    [9, 10, 11]]])
print(array3d)
print(array3d**2)

    # 数组的矢量化运算
array1 = np.array([[1, 2, 4],
                  [4, 5, 6]])
array2 = np.array([[7, 8, 9],
                   [10, 11, 12]])
# 形状相同的数组，每个执行算术运算是每个元素都执行相同的运算
print(array1 + array2)
print(array1 - array2)
print(array1 * array2)
print(array1 / array2)
print(array1 + 1)
print(array1 * 2)
print(1 / array1)

    在这里插入图片描述

    （2）查看多维数组的大小和类型
    • shape返回一个元组类型（2,4），说明该数组中有两个一维数组组成且每个数组由4个元素组成。
    • dtype返回int64，说明该数组中的所有数据类型为整型类型。
    # 二维数组,数组是有类型的,使用dtype进行规定
array2d = np.array([[1, 2, 3, 4, 5],
                   [6, 7, 8, 9, 10]], dtype=np.float64)
print(array2d)

    在这里插入图片描述

    （3）快速生成数组

    还可以使用zeros()和ones()函数快速创建全零或者全1数组，在创建过程中指定长度和维度。也可以使用eye()创建一个正方的N*N的正方矩阵（对角线为1，其余为0）。以及特殊的diag()函数。

    # 快速创建特殊矩阵
arrayZeros = np.zeros(shape=(4, 5), dtype=np.int64)  # 浮点数的0并不一定表示0
print(arrayZeros)
arrayOnes = np.ones(shape=(4, 5, 6, 7, 8, 9), dtype=np.float64)
print(arrayOnes)
E = np.identity(5)  # 生成一个5x5的单位矩阵
print(E)
E2 = np.eye(5, 5, dtype=np.int64)  # 是方阵
print(E2)
E3 = np.eye(5, 4, dtype=np.int64)  # 不是方阵
print(E3)
# diag()生成对角线矩阵
D = np.diag([1, 2, 3, 4, 5]) # 用一个一维数组生成矩阵，矩阵的主对角线上是一维数组的数组，其余为0
print(D)
D2 = np.diag([1, 2, 3, 4, 5], k=1)  # 设置k值后，数组不在主对角线上
print(D2)

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    （4）使用arange生成数组
    # range(start, and ,step) int,
arrayld=np.arange(-1, 1, 0.1)  # arange(start, and, step)，但是可以支持小数，是numpy库中的类
print(arrayld)

    matrix()构建矩阵形式现在基本不使用，所以暂时不做了解

    （5）使用xx_like()生成数组
    # like生成数组
array3 = np.zeros_like(array2d)
print(array3)

    在这里插入图片描述

    （6）不同类型的array的转换
    
# 类型和类型转换
arrayInt = array2d.astype(np.int32)
print(arrayInt)

    在这里插入图片描述

    （7）数组的索引切片
    • NumPy数组的索引选取数据子集或单位各元素的方式有很多。
    • 对于高维数组，索引和切片技术能做更多的操作
    • 二维数组对象[二维度下标索引值， 一维度元素下标索引值]
    • 例如在一个二维数组中，各索引位置上的元素值不是标量，而是一维数组
    • 二维数组的切片方式更加灵活，前者是行，后者是列，逗号隔开维度
    • 三维数组切片，第一个维度选取二维数组，第二个维度选择一维数组，第三个维度选取一维数组中的元素。
    # 数组的索引和切片
import numpy as np
array2d = np.arange(0, 100, 1)
print(array2d[0])
array2d[0] = 100
print(array2d)

# 支持负索引
print(array2d[-1])  # 取出最后一个元素

    在这里插入图片描述

    # 数组切片
# 一维数组切片（start, end , step）
array1d = np.array([1, 2, 3, 4, 5, 6, 7, 8])
print(array1d[3: 6: 1])
# 切片支持批量赋值
array1d[3:6] = 0
print(array1d)

# 二维数组切片
array1 = np.array([[1, 2, 3],
                   [4, 5, 6]])
array1[:, 2:] = 0  # == array1[0: 2: 1, 2: 3: 1],前面是行，后面是列，中间用逗号隔开
print(array1)

array1[:, :] = 10
print(array1)

# 二维数组的索引
print(array1[0][0])
print(array1[0, 0])

# 三维数组的切片
array3 = np.array([[[1, 2, 3],
                    [4, 5, 6]],
                   [[7, 8, 9],
                    [10, 11, 12]]])
print(array3)
# 选取第二个二维数组，所有行，第二三列
print(array3[1:, :, 1:])

    在这里插入图片描述

    2. NumPy数据预处理

    （1） 布尔型索引

    布尔索引的效率要比for更高，所以可以期待使用bool索引取代for循环，知道更多，在工程实践时会有更多的选择：

    import numpy as np

# 布尔索引 : 一种过滤机制
array = np.array([1, 2, 3, 4, 5])
boolIndex = np.array([False, True, False, True, False])
array2 = array[boolIndex]
print(array2)
# 等价写法
print(array[[False, True, False, True, False]])
# numpy数组的比较运算，会返回布尔数组
print(array % 2 == 0)
print(array > 3)
print(array[array % 2 == 0])  # 简洁好用

    在这里插入图片描述

    # 布尔索引的运算 & |
result = ((array % 2 == 0) & (array > 3))
print(result)
print(array[result])  # 选取符合条件的数据项

    在这里插入图片描述
    人工智能核心是算法，是数据处理，所以Python语言的NumPy库可以高效地处理数据，所以成为人工智能研究的必备工具。

    （2）花式索引
    import numpy as np

# 花式索引, 应用场景很少
array = np.array([1, 2, 3, 4, 5])
print(array[[1, 3]])  # 用另外一个数组作为一个数组的索引
array2d = np.array([[1, 2, 3],
                    [4, 5, 6]])
# 第一列组成一个数值索引（0,1），另一列（1,2）组成另一个数值索引
print(array2d[[0, 1], [1, 2]])

    在这里插入图片描述

    (3) 数组转置和轴对换
    • 转置是重塑的一种特殊形式，它返回的是源数据的视图，不会进行任何复制操作。
    • 所谓转置最简单的理解为一种行列（轴）转换操作（轴是三维数组中的纬度值）。
    • 数组不仅有transpose方法，还有一个特殊的T属性。
    • NumPy提供了transpose()函数完成数组转置，在高纬度数组中称为轴对称。
    • 但是我们经常会使用transpose()函数对高维数组进行自定义转置操作
    import numpy as np
# 数组的轴和轴转换 axis
array2d = np.array([[1, 2, 3, 4, 5],
                       [6, 7, 8, 9, 10]])
print(array2d)
print(array2d.T)
print(array2d.sum(axis=1))  # 0是行方向，1是列方向

# 三维数组的transpose
array3d = np.array([[[1, 2, 4],
                     [4, 5, 6]],
                    [[6, 7, 8],
                     [10, 11, 12]]])
# transpose
print(array3d.transpose(2, 1, 0))  # 轴发生改变
print(array3d.T)
# array3d[0][0][2] = 4 第一个二维数组里的第一行第三列
# 转换之后，array3d[2][0][0] = 4， 轴改变使下标改变、值不变

    在这里插入图片描述
    在这里插入图片描述

    print(array3d.transpose(0, 2, 1))

    在这里插入图片描述
    （0, 2, 1）实际上是二维数组本身的顺序不做改变，而调换二维数组内部的行列轴，所以呈现出来的效果如上。

    3. NumPy的文件存储技术

    • NumPy提供了多种文件操作函数方便我们存取数组内容。文件存取的格式分为两类：二进制和文本。而二进制格式的文件又分为NumPy专用格式化二进制类型和无格式类型。
    • 使用数组的方法函数tofile可以方便地将数组中的数据以二进制的格式写进文件。tofile输出的数据没有格式，因此用numpy.fromfile读回来时，需要自己格式化数据。
    import numpy as np
array2d = np.array([[1, 2, 3, 4, 5],
                    [6, 7, 8, 9, 10]])
array2d.tofile('a.bin')

# 注意读取时有类型的要求，读取文件的dtype必须与原本的模型相符合
array2d2 = np.fromfile('a.bin', dtype=np.int32)
print(array2d2)

# npy文件读写,二进制文件
np.save('a.npy', array2d)
array2d3 = np.load('a.npy')
print(array2d3)

    ![在这里插入图片描述](https://img-blog.csdnimg.cn/66e8455e2f4a400dbc8f47c71f35f133.png#pic_center在这里插入图片描述
    如果你想将多个数组保存到一个文件中的话，可以使用numpy.savez函数，savez函数的第一个参数是文件名，其后的参数都是需要保存的数组，也可以使用关键字参数为数组起一个名字，非关键字参数传递的数组会自动起名为arr_0,arr_1,…。savez函数输出的是一个压缩文件（扩展名为npz），其中每个文件都是一个save函数保存的npy文件，文件名对应于数组名。load函数自动识别npz文件，并且返回一个类似于字典的对象，可以通过数组名作为关键字获取数组的内容。

    # 保存多个数组到同一个文件，还可以进行还原
array1d = np.array([1, 2, 3, 4, 5])
array3d = np.array([[1, 2, 3, 4, 5]])
np.savez('a.npz', array2d, array1d, W3=array3d)
arrs = np.load('a.npz')
print(arrs['arr_0'])
print(arrs['arr_1'])
print(arrs['W3'])

    在这里插入图片描述
    在这里插入图片描述

    • csv本质是文本文件，python关于csv文件格式的复写，实际上是将数组存放/读取文本文件。
    # 将数组存放为文本文件，csv本质是文本文件
np.savetxt('a.txt', array2d)
# 需要注明存储类型，分隔符, 换行符
np.savetxt('a.csv', array2d, fmt='%d', delimiter=',', newline='\n')
arrays = np.loadtxt('a.csv', delimiter=',', dtype=np.int32)
print(arrays)

    在这里插入图片描述

    4. 广播机制

    # 广播机制
print("按行广播")
# 一个一行多列的一维数组可以与array2d广播
print(array2d + array1d)
print(array2d - array1d)
print(array2d * array1d)
print(array2d / array1d)
print(array2d ** array1d)

# 按列广播，需要使用多行一列的数据列
print("按列广播")
array1d = np.array([[1],
                    [2]])
print(array2d + array1d)

    在这里插入图片描述

    5. 通用函数

    （1）一元函数
    • 有一些（add和maximum）接受两个数组，因此也叫做二元（binary）ufunc，并返回一个结果数组。
    import numpy as np

# 自然数e = 2.718
print(np.e)
# 机器学习、深度学习 自然数e 1/(1 + ^(-x))激活函数
print(np.e**2)
result = np.exp(2)  # e^x
print(result)

array1 = np.array([1, 2, 3])
array2 = np.array([4, 5, 6])

result = np.sum(array1)
print(result)
result = np.mean(array1)
print(result)
print(np.exp(array1))
    • python中还有一种modf()方法，可以将浮点数组的整数部分和小数部分分开。
    # 生成一个浮点数组
array = np.random.uniform(-5.0, 5.0, size=(4, 5))
print(array)
r1, r2 = np.modf(array)
print(r1)
print(r2)
    • 对数函数
    # 对数函数，Numy的log函数函数默认是以e为底
r = np.log(np.e)  # 信息论、信息熵、交叉熵基础
print(r)
    • 还有其他的ufunc函数
    • abs, fabs：计算整数、浮点数或复数的绝对值，对于非复数值，可以使用更快的fabs。
    • sqrt,计算各元素的平方和。
    • log, log10, log2, log1p：分别为自然对数，底数为10的log，底数为2的log和log(1+x）。
    • sign：计算个元素的正负号，正数为1，复数为-1，零为0。
    • ceil：计算各元素的ceiling值，即大于等于该值的最小整数。
    • floor：计算各元素的floor值，即小于等于该值的最大整数。
    • rint:将各元素值四舍五入到最接近的整数，保留dtype类型。
    • isnan：返回一个表示哪些值是NAN的布尔型数组
    • isfinite, isinf：分别返回一个表示“哪些元素是有穷的”或“哪些元素是无穷的”布尔值型数组。
    （2）二元函数
    # 二元函数
r = np.add(array1, array2)
print(r)
r1 = np.subtract(array1, array2)
print(r1)
r2 = np.power(10.0, 10)
print(r2)

    6. 用数组处理数据

    • NumPy数组使我们可以将多种数据处理任务表述为简洁的数组表达式，否则还需要编写循环。
    • 用数组代替循环的做法，通常被称为“矢量化”。
    • 一般来说，矢量化数组运算要比等价的纯Python方式快上1~2个级别，甚至更多，尤其是各种数值计算。这也是矢量化计算的强大之处。
    • np.meshgrid函数接受两个一维数组，并产生两个二维矩阵（对应于两个数组中所有的（x,y）对）
    # meshgrid函数
pointX = np.array([1, 2, 3])
pointY = np.array([2, 4, 6])
vx, vy = np.meshgrid(pointX, pointY)
print(vx)
print(vy)

    在这里插入图片描述

    • np.where的用法
    # 使用where简化代码
result = np.where(array >= 90, '优秀', '一般')
print(result)
# np.where的嵌套
result = np.where(array>= 90, '优秀', np.where(array>= 80, '良好', '一般'))
print(result)

    在这里插入图片描述

    • zip
    # for循环可以使用zip多个集合进行同时遍历
array = np.array([1, 2, 3, 4, 5])
list1 = [1, 2, 3, 4, 6, 7]
t1 = (11, 2, 3, 4, 5, 6.6, 7)
# zip会选择最短的进行遍历，避免越界
for x, y, z in zip(array, list1, t1):
    print(x, y, z)
    pass

    在这里插入图片描述

    7.数学和统计方法介绍

    • 可以通过数组上的一组数学函数对整个数组或某个轴向的数据进行统计计算。sum,mean以及标准差std等聚合计算（aggregation, 通常叫做约简（reduction））即可当做数组的实例方法调用，也可以当做顶级NumPy函数使用。
    import numpy as np

# 常见的数学统计函数
array = np.array([[1, 2, 3, 4, 5],
                 [6, 7, 8, 9, 10]])
# 归一化处理，用（偏差-均值）/标准差
r1 = array.mean(axis=0)  # 0代表着列方向
print(r1)
r2 = array - r1
print(r2)
r3 = r2/array.std(axis=0)
print(r3)
# 等价写法
r3 = (array-array.mean(axis=0))/array.std(axis=0)
print(r3)

    在这里插入图片描述

    • argmax和argmin，求一个数组中最大值和最小值的索引
    # argmax 和 argmin
array = np.array([-1, 1, -10, 11, 13, 20, -6])
print(np.argmax(array))
print((np.argmin(array)))

    在这里插入图片描述

    • 用于布尔型数组的方法
    # 布尔数组求和
boolArray = np.array([True, False, False, True])
r = np.sum(boolArray)
print(r)
# 统计布尔数组非零值
r = np.count_nonzero(boolArray)
print(r)
# 获取非零元素的索引，这里其实使用了一个花式索引
r = np.nonzero(boolArray)
print(boolArray[r])
    • 一维数组可以使用array.sort()函数进行排序，但是不建议使用，后续可以使用pandas实现排序。

    8. 线性代数

    • 这一块内容，需要重点学习dot函数
    • 首先是学习矩阵的乘法：
    import numpy as np

# 线性代数函数使用dot（点积和计算）矩阵 向量 （N*M M*K）
array = np.array([[1, 2, 3, 4, 5],
                 [6, 7, 8, 9, 10]])  # 2*5 5*k
array2 = np.array([[1],
                   [2],
                   [3],
                   [4],
                   [5]])  # 2*5 5*1 == 2*1
print(array.dot(array2))  #矩阵相乘
print(np.dot(array, array2))
print(array @ array2)

    在这里插入图片描述
    还有一种特殊情况：

    # numpy比较灵活 f(A,x) = A.dot(x)
# 行向量 和 列向量
x = np.array([1, 2, 3, 4, 5])
print(array.dot(x))
# 这是一种不符合矩阵运算的写法，但是依然可以得到答案

    在这里插入图片描述

    • NumPy里的线性函数
    import numpy as np

array = np.array([[1, 2],
                  [3, 4]])
print(np.linalg.det(array))  # 行列式

# AX = 参数*x
#  得到特征值和特征向量
v, x = np.linalg.eig(array)
print(v)
print(x)
print(array.dot([-0.82456484,  0.56576746]))
print(-0.37228132 * (np.array([-0.82456484,  0.56576746])))

# 矩阵求逆 A'A=E
a1 = np.linalg.inv(array)
print(a1)
print(array.dot(a1))  # 由于精度问题，不能完全显示，但输出就是单位矩阵

    在这里插入图片描述

    • 随机数生成
    # 随机数模块
data = np.random.randint(0, 100, size=(2,3))
print(data)
dataf = np.random.uniform(-1, 1, size=(5, 5))
print(dataf)

    在这里插入图片描述

    • 随机数的“洗牌”功能
    # 随机打乱顺序
arrayx = np.array([1, 2, 5, 10, 22, 11, 99, 100])
np.random.shuffle(arrayx)
print(arrayx)

    在这里插入图片描述

screaming_zz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python：Python机器学习基础：Scikit-Learn
07-14
Python：Python机器学习基础：Scikit-Learn
机器学习系列9 Python实现基于Scikit-learn分类.zip
05-30
Scikit-learn是Python中最受欢迎的机器学习库之一，它提供了丰富的算法和工具，便于数据科学家和机器学习工程师快速开发和部署机器学习模型。 首先，`cuisines.csv`和`cleaned_cuisines.csv`这两个CSV文件可能包含...
机器学习基础（三）Python知识串讲---基础数据类型
screaming_zz的博客
09-02 43
机器学习基础知识笔记。
机器学习基础（九）Python知识串讲---Pandas
screaming_zz的博客
09-15 59
机器学习基础知识笔记。
python机器学习与深度学习在气象领域中的应用
zhkjjww的博客
06-29 1048
Python是功能强大、免费、开源，实现面向对象的编程语言，在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能，这些优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。可以预见未来Python将成为的主流编程语言之一。人工智能和大数据技术在许多行业都取得了颠覆式的成果，气象和海洋领域拥有海量的模式和观测数据，是大数据和人工智能应用的天然场景。Python也是当前进行机器学习和深度学习应用的最热门语言。...
python机器学习与深度学习在气象领域中的实践技术应用
weixin_xiao5kou4chang6kai4的博客
06-23 1378
GFS数值模式的风速预报订正、台风预报数据智能订正、机器学习预测风电场的风功率、深度学习预测浅水方程模式、LSTM方法预测ENSO、深度学习convLSTM
决战蓝桥杯-Python内置函数-机器学习基础（3）
04-07
为备战蓝桥杯的朋友准备的一些练习的题目，近期跑过的code，已经在博客中记录，建议结合我的博客学习 效果会更佳。祝各位在比赛中取得好成绩！
Python-master_机器学习；AndrewNg_Python-master_
09-30
Python是当今世界上最受欢迎的编程语言之一，特别是在数据科学、机器学习和人工智能领域。"Python-master_机器学习；AndrewNg_Python-master"这个标题暗示了这是一个关于Python编程的学习资源，特别是针对机器学习...
机器学习基础-Python内置函数实战（一）
04-06
大家好，这是我在近期总结的 机器学习基础——Python内置函数实战（一），对于Python学习以及人工智能基础学习的朋友来说应该会比较有用。此为源代码，含有详细注释，博客中已经记录（建议结合博客阅读），需要的...
人工智能与机器学习原理精解【7】
“数学如同音乐或诗一样显然地确实具有美学价值。” —— 雅可比
07-25 604
数学优化（Mathematical Optimization），也称为最优化问题，是一个广泛应用的数学领域，旨在解决在一定约束条件下寻找目标函数的最优值（最大值或最小值）的问题。数学优化问题的定义为：给定一个目标函数（也称为代价函数）fA→R，寻找一个变量（也称为参数）x∗∈D，使得对于所有D中的x，都有fx∗≤fx（最小化问题）或fx∗≥fx（最大化问题）。其中，D是变量x的约束集，也称为可行域；D中的变量被称为可行解。
机器学习任务中怎么选择模型？
weixin_39915444的博客
07-25 245
选择适合的机器学习模型是一个复杂且关键的过程，需要考虑以下几个方面：以下是选择模型的一般步骤：明确任务类型：探索数据：模型选择：模型评估：模型解释：
机器学习驱动的智能化电池管理技术与应用
最新发布
YHJX57的博客
07-25 776
3.3 两种电池电(化学)-热耦合模型的区别及应用场景。(1) 基于融合模型和融合算法的SOC估计方法。5.2.3 典型工况电池空冷模型构建及仿真演示。5.3.2 锂离子电池-冷却液流动耦合模型构建。5.3.3 典型工况电池液冷模型构建及仿真演示。3.2 电池集总参数模型及其与电池热模型耦合。5.2.2 锂离子电池-空气流动耦合模型构建。实例讲解-基于模型误差谱的SOH估计方法。基于转移注意力机制的电池剩余寿命预测方法。2.2 COMSOL中电池P2D模型构建。3.1 P2D电化学模型与电池热模型耦合。
人工智能与机器学习原理精解【8】
“数学如同音乐或诗一样显然地确实具有美学价值。” —— 雅可比
07-25 582
函数系是指由一组函数构成的集合，这些函数之间可能具有某种特定的关系或性质。在数学中，函数系的概念广泛应用于多个领域，如数学分析、泛函分析、逼近论等。函数系中的函数可以是同一类型的，也可以是不同类型的，关键在于它们之间的某种联系或共性。测度（Measure）是一个数学术语，在数学和物理学等多个领域都有广泛应用。数学上，测度是一个函数，它对一个给定集合的某些子集指定一个数，这个数可以比作大小、体积、概率等等。简单来说，测度就是用来量化集合或其子集的一种数学工具。
机器学习笔记 第二章模型估计与选择
qq_53034510的博客
07-22 826
为此，需使用一个“测试集”来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”作为泛化误差的近似。当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样会导致泛化性能下降，这种现象在机器学习中称为“过拟合”。答案是否定的，因为测试性能不等于泛化性能，测试性能随着测试集的变化而变化，很多机器学习算法本身有一定的随机性。显然，泛化误差越小越好，但是，我们事先并不知道新样本，实际能做的是努力使经验误差最小化。泛化误差：在“未来”样本上的误差。
【机器学习】机器学习解决的问题特点、机器学习学的是什么、怎么学、如何构建高效机器学习模型的策略、机器学习的分类以及机器学习、模式识别、数据挖掘和人工智能的区别
m0_49243785的博客
07-22 964
机器学习学什么、怎么写、高效构建机器学习模型的策略以及机器学习的分类
计算机毕业设计python+neo4j知识图谱中医问答系统 中医中药方剂大数据可视化 vue.js 前后端分离 大数据毕业设计 机器学习 深度学习 人工智能
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
07-22 877
计算机毕业设计python+neo4j知识图谱中医问答系统 中医中药方剂大数据可视化 vue.js 前后端分离 大数据毕业设计 机器学习 深度学习 人工智能
机器学习笔记 第一章绪论
qq_53034510的博客
07-22 748
归纳偏好的作用在图1.3这个回归学习图示中可能更直观.这里的每个训 练样本是因中的一个点 (x，y)， 要学得一个与训练集一致的模型，相当于找到一 条穿过所有训练样本点的曲线.显然，对有限个样本点组成的训练集，存在着 很多条曲线与其一致.我们的学习算法必须有某种偏好，才能产出它认为"正确"的模型。从数据中学的模型的过程称为“学习”或“训练”，这个过程通过执行某个学习算法来完成，训练过程中使用的数据称为“训练数据”，其中每个样本称为一个“训练样本”，训练样本组成的集合称为“训练集”。表示第i个样例，其中。
机器学习 | 计算分类算法的ROC和AUC曲线以随机森林为例
python收藏家的博客
07-24 694
总之，计算随机森林分类器的ROC AUC分数在Python中是一个简单的过程。sklearn.metrics模块提供了计算ROC曲线、ROC AUC评分和PR曲线的函数。ROC曲线和PR曲线是评估二值分类器性能的有用工具，它们可以帮助基于不同评估指标之间的权衡来选择分类器的最佳阈值。PR（precision-recall）曲线是二元分类问题的另一个评估指标。PR曲线是针对不同分类阈值的精确度（y轴）对召回率（x轴）的图。
使用Scikit-Learn与TensorFlow实践Python机器学习
"Python Learning With Scikit-Learn and TensorFlow - 本书深入浅出地介绍了使用Python进行机器学习和深度学习的概念、工具和技术，包括Scikit-Learn和TensorFlow库的使用，旨在帮助读者构建智能系统。作者Auré...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值