keras 初步学习

1.keras 实现线性回归模型【完整步骤】

（1）建立顺序模型
（2）选择层，确认参数个数
（3）编译模型
（4）预测模型

import keras
from keras.models import Sequential
import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(0,100,30)
y = 3*x +7 +np.random.randn(30)*6
plt.scatter(x,y)
plt.show()
model = keras.Sequential() # 建立顺序模型
from keras import layers
model.add(layers.Dense(1,input_dim=1)) # y=ax+b 自动建立a,b
print(model.summary())
# 编译模型
model.compile(optimizer='adam',loss='mse')
# 训练模型
model.fit(x,y,epochs=30)
model.predict(x)

2.keras 实现逻辑回归【知识点】

（1）使用sigmoid函数计算二分类问题，binary_crossentropy计算二元交叉熵
（2）使用softmax函数计算多分类问题，categorical_crossentropy和sparse_categorical_crossentropy计算多分类交叉熵

来自文档中损失函数的介绍
损失函数的使用
损失函数（或称目标函数、优化评分函数）是编译模型时所需的两个参数之一：

model.compile(loss='mean_squared_error', optimizer='sgd')
from keras import losses
model.compile(loss=losses.mean_squared_error, optimizer='sgd')

损失函数的参数说明
该符号函数为每个数据点返回一个标量，有以下两个参数:

y_true: 真实标签。TensorFlow/Theano 张量。
y_pred: 预测值。TensorFlow/Theano 张量，其 shape 与 y_true 相同。

实际的优化目标是所有数据点的输出数组的平均值。
常用的Losses请见官方文档

3.手写数字识别案例

import keras
from keras.models import Sequential
import numpy as np
import matplotlib.pyplot as plt
import keras.datasets.mnist as mnist
from keras import layers
(train_image,train_label),(test_image, test_label) = mnist.load_data()
plt.imshow(train_image[0])
plt.show()
print(train_label.shape)
print(train_label[1000])
# 建立全连接层
model = keras.Sequential()
model.add(layers.Flatten()) # 首先展平数据，将（60000.28，28）——>(60000,28*28)
model.add(layers.Dense(64,activation='relu')) # 第一个隐藏层使用relu函数激活
model.add(layers.Dense(10,activation='softmax'))# 第二个隐藏层使用softmax函数激活
model.compile(optimizer='adam',loss='sparse_categorical_crossentropy',
              metrics=['acc'])
model.fit(train_image,train_label,epochs=50,batch_size=512)# 分批次处理图片
print(model.evaluate(test_image,test_label)) # 输出训练集与测试集的准确率
print(model.evaluate(train_image,train_label))
import numpy as np
model.predict(test_image[:10])

4.激活函数（Activations）

激活函数可以通过设置单独的激活层实现，也可以在构造层对象时通过传递 activation 参数实现：

from keras.layers import Activation, Dense
model.add(Dense(64))
model.add(Activation('tanh'))
# 等价于
model.add(Dense(64, activation='tanh'))

也可以通过传递一个逐元素运算的 Theano/TensorFlow/CNTK 函数来作为激活函数：

from keras import backend as K
model.add(Dense(64, activation=K.tanh))
model.add(Activation(K.tanh))

常用的激活函数：见官方文档

5.正则化（ Regularizers）

正则化器允许在优化过程中对层的参数或层的激活情况进行惩罚。 网络优化的损失函数也包括这些惩罚项。惩罚是以层为对象进行的。
正则化器开放 3 个关键字参数：

kernel_regularizer: keras.regularizers.Regularizer 
# 可进行l1正则化和l2正则化
bias_regularizer: keras.regularizers.Regularizer 
# 偏置项进行惩罚
activity_regularizer: keras.regularizers.Regularizer 
# 激活项进行惩罚

使用模板

from keras import regularizers
model.add(Dense(64, input_dim=64,
                kernel_regularizer=regularizers.l2(0.01),
                activity_regularizer=regularizers.l1(0.01)))

常用的正则化器

keras.regularizers.l1(0.)
keras.regularizers.l2(0.)
keras.regularizers.l1_l2(l1=0.01, l2=0.01)