用python做lasso回归_用TensorFlow实现lasso回归和岭回归算法的示例

这篇文章主要介绍了关于用TensorFlow实现lasso回归和岭回归算法的示例，有着一定的参考价值，现在分享给大家，有需要的朋友可以参考一下

也有些正则方法可以限制回归算法输出结果中系数的影响，其中最常用的两种正则方法是lasso回归和岭回归。

lasso回归和岭回归算法跟常规线性回归算法极其相似，有一点不同的是，在公式中增加正则项来限制斜率(或者净斜率)。这样做的主要原因是限制特征对因变量的影响，通过增加一个依赖斜率A的损失函数实现。

对于lasso回归算法，在损失函数上增加一项：斜率A的某个给定倍数。我们使用TensorFlow的逻辑操作，但没有这些操作相关的梯度，而是使用阶跃函数的连续估计，也称作连续阶跃函数，其会在截止点跳跃扩大。一会就可以看到如何使用lasso回归算法。

对于岭回归算法，增加一个L2范数，即斜率系数的L2正则。

# LASSO and Ridge Regression

# lasso回归和岭回归

#

# This function shows how to use TensorFlow to solve LASSO or

# Ridge regression for

# y = Ax + b

#

# We will use the iris data, specifically:

# y = Sepal Length

# x = Petal Width

# import required libraries

import matplotlib.pyplot as plt

import sys

import numpy as np

import tensorflow as tf

from sklearn import datasets

from tensorflow.python.framework import ops

# Specify 'Ridge' or 'LASSO'

regression_type = 'LASSO'

# clear out old graph

ops.reset_default_graph()