TensorFlow2
人工智能:让机器具备人的思维和意识
人工智能三学派:
-
行为主义:基于控制论,构建感知-动作控制系统。(控制论,如平衡、行走、避障等自适应控制系统)-----让人工智能具备基本的本能反应。
-
符号主义:基于算数逻辑表达式,求解问题时先把问题描述为表达式,再求解表达式。(可用公式描述、实现理性思维,如专家系统)----用公式描述的人工智能,让计算机具备理性思维。
-
连接主义:仿生学,模仿神经元连接关系。(仿脑神经元连接,实现感性思维,如神经网络)-----让人工智能具备感性思维。
理解:基于连接主义的神经网络设计过程
基本流程:
用计算机仿出神经网络连接关系,让计算机具备感性思维。
流程:
- 准备数据:采集大量“特征/标签”数据---------例如,猫的图片等等
- 搭建网络:搭建神经网络结构
- 优化参数:训练网络获取最佳参数(反转)
- 应用网络:将网络保存为模型,输入新数据,输出分类或预测结果(前传)
案例:
用神经网络实现鸢尾花分类:
(lr为学习率 loss是关于w的函数,也叫损失函数)
import tensorflow as tf
w = tf.Variable(tf.constant(5, dtype=tf.float32))
lr = 0.2
epoch = 40
for epoch in range(epoch): # for epoch 定义顶层循环,表示对数据集循环epoch次,此例数据集数据仅有1个w,初始化时候constant赋值为5,循环40次迭代。
with tf.GradientTape() as tape: # with结构到grads框起了梯度的计算过程。
loss = tf.square(w + 1)
grads = tape.gradient(loss, w) # .gradient函数告知谁对谁求导
w.assign_sub(lr * grads) # .assign_sub 对变量做自减 即:w -= lr*grads 即 w = w - lr*grads
print("After %s epoch,w is %f,loss is %f" % (epoch, w.numpy(), loss))
# lr初始值:0.2 请自改学习率 0.001 0.999 看收敛过程
# 最终目的:找到 loss 最小 即 w = -1 的最优参数w
张量(Tensor):多维数组(列表) 阶:张量的维数
张量可以表示0阶到n阶数组(列表)
如何创建一个Tensor?
- tf.constant(张量内容,dtype=数据类型(可选))
import tensorflow as tf
a=tf.constant([1,5],dtype=tf.int64)
print(a)
print(a.dtype)
print(a.shape)
- 将numpy的数据类型转换为Tensor数据类型
tf.convert_to_tensor(数据名,dtype=数据类型(可选))
import tensorflow as tf
import numpy as np
a = np.arange(0, 5)
b = tf.convert_to_tensor(a, dtype=tf.int64)
print(a)
print(b)
- 创建全为0的张量
tf.zeros(维度)
- 创建全为1的张量
tf.ones(维度)
- 创建全为指定值的张量
tf.fill(维度,指定值)
import tensorflow as tf
a = tf.zeros([2, 3])
b = tf.ones(4)
c = tf.fill([2, 2], 9)
print(a)
print(b)
print(c)
(关于维度shape的解释,中间的逗号隔开几个数就代表几维,每个数分别代表各自维数的所有的元素个数。例如shape=(2,3),代表有2个维度,第一个维度有2个元素,第二个维度有3个元素)
- 生成正态分布的随机数,默认均值为0,标准差为1
tf.random.normal(维度,mean=均值,stddev=标准差)
- 生成截断式正态分布的随机数
tf.random.truncateed_normal(维度,mean=均值,stddev=标准差)
在tf.trucated_normal中如果随机生成数据的取值在( μ -2 σ , μ +2 σ )之外,则重新进行生成,保证了生成值在均值附近。
μ:均值 σ:标准差
标准差计算公式:
- 生成均匀分布随机数[minval,maxval]
tf.random.uniform(维度,minval=最小值,maxval=最大值)
f = tf.random.uniform([2, 2], minval=0, maxval=1)
print(f)
TensorFlow2的常用函数
- 强制tensor转换为该数据类型
tf.cast(张量名,dtype=数据类型)
- 计算张量维度上元素的最小值
tf.reduce_min(张量名)
- 计算张量维度上元素的最大值
tf.reduce_max(张量名)
import tensorflow as tf
x1 = tf.constant([1., 2., 3.], dtype=tf.float64)
print(x1)
x2 = tf.cast(x1, tf.int32)
print(x2)
print(tf.reduce_min(x2), tf.reduce_max(x2))
- 理解axis
在一个二维张量或数组中,可以通过调整axis等于0或1控制执行维度。
axis=0代表跨行(经度,down),而axis=1代表跨列(维度,across)
如果不指定axis,则所有元素参与 计算。
- 计算张量沿着指定维度的平均值
tf.reduce_mean(张量名,axis=操作轴)
- 计算张量沿着指定维度的和
tf.reduce_sum(张量名,axis=操作轴)
import tensorflow as tf
x = tf.constant([[1, 2, 3], [2, 2, 3]])
print(x)
print(tf.reduce_mean(x))
print(tf.reduce_sum(x, axis=1))
(在函数中不指定axis,则表示对所有元素进行操作)
- tf.Variable()将变量标记为“可训练”,被标记的变量会在反向传播中记录梯度信息。神经网络训练中,常用该函数标记待训练参数。
tf.Variable(初始值)
w=tf.Variable(tf.random.normal([2,2],mean=0,stddev=1))
TensorFlow中的数学运算
- 对应元素的四则运算:tf.add,tf.subtract,tf.multiply,tf.divide
- 平方、次方与开方:tf.square,tf.pow,tf.sqrt
- 矩阵乘:tf.matmul
- 实现两个张量的对应元素相加
- tf.add(张量1,张量2)
- 实现两个张量的对应元素相减
- tf.substract(张量1,张量2)
- 实现两个张量的对应元素相乘
- tf.multiply(张量1,张量2)
- 实现两个张量的对应元素相除
- tf.divide(张量1,张量2)
- 只有维度相同的张量才可以进行四则运算。
import tensorflow as tf
a = tf.ones([1, 3])
b = tf.fill([1, 3], 3.)
print(a)
print(b)
print(tf.add(a, b))
print(tf.subtract(a, b))
print(tf.multiply(a, b))
print(tf.divide(b, a))
- 计算某个张量的平方
- tf.square(张量名)
- 计算某个张量的n次方
- tf.pow(张量名,n次方数)
- 计算某个张量的开方
- tf.sqrt(张量名)
import tensorflow as tf
a = tf.fill([1, 2], 3.)
print(a)
print(tf.pow(a, 3))
print(tf.square(a))
print(tf.sqrt(a))
- 实现两个矩阵相乘
- tf.matmul(矩阵1,矩阵2)
import tensorflow as tf
a = tf.ones([3, 2])
b = tf.fill([2, 3], 3.)
print(tf.matmul(a, b))
- 切分传入张量的第一维度,生成输入特征/标签对,构建数据集data=tf.data.Dataset.from_tensor_slices((输入特征,标签))
(Numpy和Tensor格式都可用该语句读入数据)
import tensorflow as tf
feature = tf.constant([12, 23, 10, 17])
labels = tf.constant([0, 1, 1, 0])
dataset = tf.data.Dataset.from_tensor_slices((feature, labels))
print(dataset)
for element in dataset:
print(element)
- tf.GradientTape
with结构记录计算过程,gradient求出张量的梯度。
with tf.GradietTape() as tape:
若干个计算过程
grad=tape.gradient(函数,对谁求导)
import tensorflow as tf
with tf.GradientTape() as tape:
w = tf.Variable(tf.constant(3.0))
loss = tf.pow(w, 2)
grad = tape.gradient(loss, w)
print(grad)
(gradient相当于把loss函数对w求导)
- enumerate
enumerate是python的内建函数,它可遍历每个元素(如列表、元组或字符串),组合为:索引 元素,常在for循环中使用。
enumerate(列表名)
seq = ['one', 'two', 'three']
for i, element in enumerate(seq):
print(i, element)
- tf.one_hot
独热编码(one-hot encoding):在分类问题中,常用独热码做标签,标记类别:1表示是,0表示非。
(0狗尾草鸢尾 1杂色鸢尾 2弗吉尼亚鸢尾)
标签:1
独热码:(0. 1. 0.)
tf.one_hot()函数将带转换数据,转换为one-hot形式的数据输出。
tf.one_hot(带转换数据,depth=几分类)
import tensorflow as tf
classes = 3
labels = tf.constant([1, 0, 2])
output = tf.one_hot(labels, depth=classes)
print(output)
- tf.nn.softmax
当n分类的n个输出(y0,y1,…,yn-1)通过softmax()函数,便符合概率分布了。
import tensorflow as tf
y = tf.constant([1.01, 2.01, -0.66])
y_pro = tf.nn.softmax(y)
print(y_pro)
- assign_sub
赋值操作,更新参数的值并返回。
调用assign_sub前,先用tf.Variable定义变量w为可训练(可自更新)。
w.assign_sub(w要自减的内容)
import tensorflow as tf
w = tf.Variable(4)
w.assign_sub(1)#w-=1 w=w-1
print(w)
- tf.argmax
返回张量沿指定维度最大值的索引tf.argmax(张量名,axis=操作轴)
import tensorflow as tf
import numpy as np
test = np.array([[1, 2, 3], [2, 3, 4], [5, 4, 3], [8, 7, 2]])
print(test)
print(tf.argmax(test, axis=0)) # 返回每一列(经度)最大值的索引
print(tf.argmax(test, axis=1)) # 返回每一行(纬度)最大值的索引