正则化缓解过拟合

一、正则化

过拟合: 神经网络模型在训练数据集上的准确率较高,在新的数据进行预测或分类时准确率较低, 说明模型的泛化能力差。
正则化: 在损失函数中给每个参数 w 加上权重,引入模型复杂度指标,从而抑制模型噪声(一般不正则化b) , 减小过拟合。

使用正则化后,损失函数 loss 变为两项之和:

796272-20190107145832635-5750479.png

二、正则化计算方法

796272-20190107145847129-619680006.png

用Tesnsorflow 函数实现正则化 :

796272-20190107145918520-1184472182.png

#L1正则
l1loss=tf.contrib.layers.l1_regulaizer(REGULARIZER)(w)
#L2正则
l2loss=tf.contrib.layers.l2_regulaizer(REGULARIZER)(w)
#把内容加到集合对应位置
tf.add_to_collection('losses',l2loss)
#在原来的损失函数上加上正则项构成总损失函数
loss=cem+tf.add_n(tf.get_collection("losses"))

三、例子详解

用 300 个符合正态分布的点 X[x0 , x1]作为数据集,根据点 X[x0 , x1]计算生成标注Y_,将数据集标注为红色点和蓝色点。

标注规则:

796272-20190107145935881-505852844.png

我们分别用无正则化和有正则化两种方法,拟合曲线,把红色点和蓝色点分开。在实际分类时,如果前向传播输出的预测值 y 接近 1 则为红色点概率越大,接近 0 则为蓝色点概率越大,输出的预测值 y 为 0.5 是红蓝点概率分界线。

# coding:utf-8
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

BATCH_SIZE = 30
seed = 2
STEPS = 40000

rdm = np.random.RandomState(seed)
# 生成300个符合正态分布的点
X = rdm.randn(300, 2)

# 标注规则:点的平方和小于2 ,y_=1,标注为红色,否则,就标记为蓝色
Y_ = [int(x0 * x0 + x1 * x1 < 2) for (x0, x1) in X]

# 每个点的颜色,y_=1,标注为红色,其余的标记为蓝色
Y_c = [['red' if y else 'blue'] for y in Y_]

# 对数据集X和标签y进行shape整理
# 将数组堆叠成一列
X = np.vstack(X).reshape(-1, 2)
Y_ = np.vstack(Y_).reshape(-1, 1)

print(X.shape)
print(Y_.shape)
# print(Y_c)

# 利用指定颜色实现点( ( x,y)
plt.scatter(X[:, 0], X[:, 1], c=np.squeeze(Y_c))
plt.show()


# 定义神经网络的输入、参数和输出,定义前向传播过程
def get_weight(shape, regularizer):
    W = tf.Variable(tf.random_normal(shape), dtype=tf.float32)
    # 把内容加到集合对应位置
    tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regularizer)(W))
    return W


def get_bias(shape):
    b = tf.Variable(tf.constant(0.01, shape=shape))
    return b


x = tf.placeholder(tf.float32, shape=(None, 2))
y_ = tf.placeholder(tf.float32, shape=(None, 1))

W1 = get_weight([2, 11], 0.01)
b1 = get_bias([11])
y1 = tf.nn.relu(tf.matmul(x, W1) + b1)

W2 = get_weight([11, 1], 0.001)
b2 = get_bias([1])
y = tf.matmul(y1, W2) + b2

#
loss_mse = tf.reduce_mean(tf.square(y - y_))
# 计算总的loss
loss_total = loss_mse + tf.add_n(tf.get_collection('losses'))


# ----------------------------------   无正则化   ----------------------------
# 无正则化
train_step = tf.train.AdamOptimizer(0.0001).minimize(loss_mse)

with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    for i in range(STEPS):
        start = (i * BATCH_SIZE) % 300
        end = start + BATCH_SIZE
        sess.run(train_step, feed_dict={x: X[start:end], y_: Y_[start:end]})
        if i % 2000 == 0:
            loss_mse_v = sess.run(loss_mse, feed_dict={x: X, y_: Y_})
            print('Step:%d , loss:%f ' % (i, loss_mse_v))

    xx, yy = np.mgrid[-3:3:0.1, -3:3:0.1]
    grid = np.c_[xx.ravel(), yy.ravel()]
    probs = sess.run(y, feed_dict={x: grid})
    probs = probs.reshape(xx.shape)
    print("W1:\n", sess.run(W1))
    print("b1:\n", sess.run(b1))
    print("W2:\n", sess.run(W2))
    print("b2:\n", sess.run(b2))

print("# ----------------------------------   有正则化   ----------------------------")
plt.scatter(X[:, 0], X[:, 1], c=np.squeeze(Y_c))
# plt.contour() 函数:告知 x x 、y y  坐标和各点高度,用 s levels
# plt.contour (x  轴坐标值y , y  轴坐标值 ,  该点的高度 , levels=[ 等高线的高度 ])
plt.contour(xx, yy, probs, levels=[.5])
plt.show()

# ----------------------------------   有正则化   ----------------------------
# 有正则化,此处是唯一的不同之处:loss_total
train_step = tf.train.AdamOptimizer(0.0001).minimize(loss_total)

with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    for i in range(STEPS):
        start = (i * BATCH_SIZE) % 300
        end = start + BATCH_SIZE
        sess.run(train_step, feed_dict={x: X[start:end], y_: Y_[start:end]})
        if i % 2000 == 0:
            loss_mse_v = sess.run(loss_mse, feed_dict={x: X, y_: Y_})
            print('Step:%d , loss:%f ' % (i, loss_mse_v))

    xx, yy = np.mgrid[-3:3:0.1, -3:3:0.1]
    grid = np.c_[xx.ravel(), yy.ravel()]
    probs = sess.run(y, feed_dict={x: grid})
    probs = probs.reshape(xx.shape)
    print("W1:\n", sess.run(W1))
    print("b1:\n", sess.run(b1))
    print("W2:\n", sess.run(W2))
    print("b2:\n", sess.run(b2))

plt.scatter(X[:, 0], X[:, 1], c=np.squeeze(Y_c))
plt.contour(xx, yy, probs, levels=[.5])
plt.show()

代码执行结果:

(1)数据集实现可视化,平方和< 2 的点显示红色,平方和 ≥2 的点显示蓝色;

796272-20190107145955695-1189774964.png

(2)执行无正则化的训练过程,把红色的点和蓝色的点分开,生成曲线如下图所示:

796272-20190107150011651-562863499.png

(3)最后,执行有正则化的训练过程,把红色的点和蓝色的点分开,生成曲线如下图所示:

796272-20190107150027166-500551386.png

实验结果显示:

对比无正则化与有正则化模型的训练结果,可看出有正则化模型的拟合曲线平滑,模型具有更好的泛化能力。

转载于:https://www.cnblogs.com/ch-forever/p/10233298.html

Python中,可以使用Scikit-learn库来实现正则化缓解随机森林模型的过拟合问题。具体的代码如下所示: ```python from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 假设有X和y作为输入数据和目标变量 # 将数据集拆分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 特征缩放 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # 创建随机森林回归模型,设置正则化参数 rf = RandomForestRegressor(n_estimators=100, max_depth=5, min_samples_leaf=10) # 拟合模型 rf.fit(X_train_scaled, y_train) # 在训练集和测试集上预测结果 train_predictions = rf.predict(X_train_scaled) test_predictions = rf.predict(X_test_scaled) ``` 在上述代码中,我们使用了随机森林回归模型(RandomForestRegressor),设置了一些参数来控制模型的复杂度,从而缓解过拟合问题。这些参数包括: - `n_estimators`:指定了随机森林中树的数量。 - `max_depth`:指定了每棵树的最大深度。 - `min_samples_leaf`:指定了每个叶节点(叶子)上的最小样本数量。 你可以根据需要调整这些参数来改变模型的复杂度和正则化效果。同时,还对输入数据进行了特征缩放以确保数据的统一范围。 最后,我们使用拟合好的模型在训练集和测试集上进行预测,得到了预测结果。这样,就可以通过正则化缓解随机森林模型的过拟合问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值