【机器学习】 逻辑回归原理及代码

最新推荐文章于 2024-01-28 20:45:16 发布
最新推荐文章于 2024-01-28 20:45:16 发布
阅读量2.5k 收藏 15
点赞数
文章标签： 人工智能 python 机器学习 深度学习 算法
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwODI2NDkxNQ==&mid=2247504398&idx=3&sn=ce4e9afa078640f3e57e1ce8e2249750&chksm=970759b2a070d0a4938f2095fe4a832a074e94cb58eac126040536abe16c31c86183f7a9d09e&scene=126&&sessionid=0
版权

eee857d367471e590bd7ee0563a52a8b.jpeg

大家好，我是机器侠~  

1

Linear Regression（线性回归）

        在了解逻辑回归之前，我们先简单介绍一下Linear Regression（线性回归）。

线性回归是利用连续性的变量来预估实际数值（比如房价），通过找出自变量与因变量之间的线性关系，确定一条最佳直线，称之为回归线。并且，我们将这个回归关系表示为

2

Logistic Regression（逻辑回归）

逻辑回归概述

        与线性回归不同的是，逻辑回归并不是一个回归算法，它是一个分类算法；通过拟合一个逻辑函数来预测一个离散型因变量的值（预测一个概率值，基于0与1），来描述自变量对因变量的影响程度。自变量可以有一个，也可以有多个。其中，一个自变量被称为一元逻辑回归，而多个自变量被称为多元逻辑回归。
以实例而言，逻辑回归可以预测一封邮件是垃圾邮件的概率是多少。同时，因为结果是概率值，它同样可以对点击率等结果做排名模型预测。

逻辑回归步骤

        首先，寻找一个合适的预测函数h(x)来预测输入数据的判断结果。其次，构造一个损失函数cost，来表示预测的函数值h(x)与训练集数据类别y的偏差（二者的差值等形式）。对所有训练数据的损失求平均或者求和记为J(θ)，表示所有训练数据预测值和世纪类别的偏差。我们很容易得到J(θ)越小，预测得越准确，所以我们的目的就是寻找数J(θ)的最小值。寻找最小值有许多方法，这里我们通过梯度下降法（Gradient Descent）进行展示。
接下来，我们对上述内容进行详细解读：
预测函数：

 损失函数 ：

        损失函数是由逻辑回归的预测函数公式推导而得，值得一提的是，上述的ω^T并不是ω的T次方，而是ω的转置的意思。如果您学习过线性代数的知识应该能很容易理解转置的含义，但没有学习过也没有关系，把它看成ωx使用即可。详细的推导过程不是必须要掌握的知识点，我们会将这部分内容放在文章附录，如果您感兴趣，可以在之后查看。
我们对损失函数进行求导，得到以下结果：

        这样一看我们似乎已经完成了逻辑回归的全部内容。但事实上，在机器学习当中，我们的函数常常是多维高阶的，仅仅依靠令导数为 0 然后求解方程的方法往往无法解决问题，所以我们需要另一个方法来寻找损失函数的最小值。通常，我们使用梯度下降的方法


什么是梯度下降

我们可以观察一个最简单的函数

4c49ee119089cb767baa26ae05cabd5f.png

1.首先对 x 取任意一个值比如-0.8，我们可以得到一个 y 值：

d49fe4344d08a7f7aeaafa89f8b4c9aa.png

2.其次，求更新方向。例如我们向正方向更新，得到图像如下：

4f9994c36a56ced38f0b198fbc44f620.png

        可以发现，当我们向着正方向更新的时候，我们正在逐渐接近最终的结果（零点）。而两次更新之间的间隔（这里是 0.1），在机器学习当中，我们称为学习率。当学习率过大时，x 可能不能很好地收敛；当学习率过小时，x 的收敛速度可能过慢。

3.不断重复第 1、2 步，直到 x 收敛
以上就是梯度下降的主要思想，我们可以得到下降公式：

代码示例

以鸢尾花分类为例。

# 导入数据
from sklearn.datasets import load_iris
iris = load_iris()

在这里我们先取前两列数据（花萼长度与宽度）进行回归分类

X = iris.data[:,:2]
Y = iris.target
# 将数据划分为训练集和测试集
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(X,Y,test_size=0.2,random_state=0)
# 导入模型，调用逻辑回归 LogisticRegression()函数
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression(penalty='l2',solver='newton-cg',multi_class='multinomial')
lr.fit(x_train,y_train)

输出

LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
                   intercept_scaling=1, l1_ratio=None, max_iter=100,
                   multi_class='multinomial', n_jobs=None, penalty='l2',
                   random_state=None, solver='newton-cg', tol=0.0001, verbose=0,
                   warm_start=False)

我们详细解释一下 LogisticRegression 中各项参数的定义
penalty：正则化选择参数，默认方式为 L2 正则化
solver：优化算法选择参数，有{‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’}四种参数，如果你是用的是 L1 正则化，则只能使用 libinear，这是因为 L1 正则化并不是一个连续可导的损失函数。
muti_class：分类方式选择参数，包括{‘ovr’, ‘multinomial’}两种参数。简单来说，OvR 相对简单，但分类效果相对略差（这里指大多数样本分布情况，某些样本分布下 OvR 可能更好）。而 MvM 分类相对精确，但是分类速度没有 OvR 快。

# 对模型进行评估
print('逻辑回归训练集准确率：%.3f'% lr.score(x_train,y_train))
print('逻辑回归测试集准确率：%.3f'% lr.score(x_test,y_test))
from sklearn import metrics
pred = lr.predict(x_test)
accuracy = metrics.accuracy_score(y_test,pred)
print('逻辑回归模型准确率：%.3f'% accuracy)

输出

逻辑回归训练集准确率：0.850
逻辑回归测试集准确率：0.733
逻辑回归模型准确率：0.733

绘制结果可视化，我们通过两列数据绘制数据集的决策边界。

import numpy as np
lx1, rx1 = X[:,0].min() - 0.5,X[:,0].max() + 0.5
lx2, rx2 = X[:,1].min() - 0.5,X[:,1].max() + 0.5
h = 0.02
x1,x2 = np.meshgrid(np.arange(lx1,rx1,h),np.arange(lx2,rx2,h))
grid_test = np.stack((x1.flat,x2.flat),axis = 1)
grid_pred = lr.predict(grid_test)
grid_pred = grid_pred.reshape(x1.shape)
import matplotlib.pyplot as plt
import matplotlib as mpl
plt.figure(1,figsize=(6,5))
cm_light = mpl.colors.ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF'])
plt.pcolormesh(x1,x2,grid_pred,cmap=cm_light)
plt.scatter(X[:50, 0], X[:50, 1], marker = '*', edgecolors='red', label='setosa')
plt.scatter(X[50:100, 0], X[50:100, 1], marker = '^', edgecolors='k', label='versicolor')
plt.scatter(X[100:150, 0], X[100:150, 1], marker = 'o', edgecolors='k', label='virginica')
plt.xlabel('Calyx length-Sepal length')
plt.ylabel('Calyx width-Sepal width')
plt.legend(loc = 2)
plt.xlim(lx1.min(), rx1.max())
plt.ylim(lx2.min(), rx2.max())
plt.title("Logical regression of iris classification results", fontsize = 15)
plt.xticks(())
plt.yticks(())
plt.grid()
plt.show()

e6321f920c9ab8c4ec71b7f4e18757a8.png

我们可以得到结果：setosa 类线性可分，而 versicolor 类与 virginica 类线性不可分。

3

损失函数公式推导

我们已经知道，逻辑回归的预测函数 h(x)

  假设有 N 个样本，样本的标签有 0 和 1 两类。假设 yi=1 的概率为 pi，yi=0 的概率为 1-pi，基于此，我们可以得到以下公式：

  可以发现，当 y 取 0 以及当 y 取 1 的时候，损失函数分别为：

  概率求解得到极大似然函数

  对该函数取对数可以得到损失函数公式

  为什么取对数呢？因为取对数之后，原先的乘法就变成了加法，并且单调性一致，不会改变极值的位置，便于后续的求导。

- EOF -

 
 
bcdc27d69679d7bacd7218305dfd74fa.jpeg
 
 
 
 
 
 
 
 
 
 
往期精彩回顾




适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载中国大学慕课《机器学习》（黄海广主讲）机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑机器学习交流qq群955171419，加入微信群请扫码（读博请说明）
 
 
6721c6cd68979390658904ea0999c847.png
 


                

        

        

    




    

      

        

            

              
                
                  风度78
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    15
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
逻辑回归代码

				
			

			

				

					12-02
				

			

		

		

			
				
coursera华盛顿大学第三门课第二周第二个测试代码和答案

			
		

	



                

              
                



	

		

			

				
					
机器学习---逻辑回归代码（实现逻辑回归模型，并在一组人工生成的数据上进行训练和测试）

				
			

			

				

					weixin_43961909的博客
				

				

					08-15
					
					401
					
				

			

		

		

			
				
方法中，计算了模型的损失函数，即交叉熵损失。个损失函数的思想是，当模型的预测与真实标签一致时，损失接近于0；这段代码的目的是实现逻辑回归模型，并提供了训练、预测、准确率和损失函数等功能。方法中，根据输入特征和当前的参数预测样本属于正例的概率。方法中，定义了 sigmoid 函数，用于将线性函数的输出转换为概率值。方法计算列表中元素的平均值，即计算准确预测的比例。方法中，根据预测的概率值将其转换为二分类的标签值。，表示模型预测为负类的概率越小，损失越大。，表示模型预测为正类的概率越小，损失越。

			
		

	



                


  
              

                


	

		

			

				
					
逻辑回归代码实现

					
最新发布

				
			

			

				

					JamesSwifte的博客
				

				

					01-28
					
					709
					
				

			

		

		

			
				
假设有100个样本点，每个样本有3个特征值，那么其数据维度为 data:100X3，经过计算后的结果是概率值为 P:100X3,那么其权值维度为theta:3X3，data x theta = P，再根据其概率值判断类别。当选择负类标签是，即把标签为0分类正确时，其sigmoid值越接近0，表示分类效果越好，损失越小，但是对应的loss值却变大，所以其sigmoid变为1-sigmoid。当选择正类标签时，即把标签为1分类正确时，其sigmoid值越接近1，表示分类效果越好，损失越小。

			
		

	





	

		

			

				
					
逻辑回归代码详解版

				
			

			

				

					qq_52310720的博客
				

				

					04-17
					
					5770
					
				

			

		

		

			
				
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import os

path = 'C:/Users/Sherlock/data/LogiReg_data.csv'
pdData = pd.read_csv(path, header=None, names=['Exam1', 'Exam2', 'Admitted'])
pdData.head()
print(pdData.head())
print(pdD...

			
		

	



		

			
		



	

		

			

				
					
三种实现逻辑回归算法的代码

				
			

			

				

					qq_25037905的博客
				

				

					05-24
					
					2378
					
				

			

		

		

			
				
方式一：


#!/usr/bin/python
# -*- coding:utf-8 -*-
#鸢尾花分类
#1.首先导入包：
import numpy as np
from sklearn.linear_model import LogisticRegression
import matplotlib.pyplot as plt
import matplotlib as mpl
from sklearn import preprocessing
import pandas as pd
from skl.

			
		

	





	

		

			

				
					
机器学习之逻辑回归，代码实现（附带sklearn代码，小白版）

				
			

			

				

					weixin_42876655的博客
				

				

					07-03
					
					4463
					
				

			

		

		

			
				
用小白的角度解释逻辑回归，并且附带代码实现

			
		

	





	

		

			

				
					
逻辑回归模型——公式推导与python代码实现

				
			

			

				

					llfighting2018的博客
				

				

					09-18
					
					614
					
				

			

		

		

			
				
1.前言
  逻辑回归模型虽然名字是回归，但是实际上是一种二类(0或1)分类模型。在本文中，0代表负类，1代表正类。逻辑模型的输入为样本的特征向量x\boldsymbol{x}x，输出为P(y=1∣x)P(y=1|\boldsymbol{x})P(y=1∣x)和P(y=0∣x)P(y=0|\boldsymbol{x})P(y=0∣x)，即在输入特征向量为x\boldsymbol{x}x条件下，样本标签属于某一类的概率。因为本文讨论的只是二类分类模型，所以有P(y=1∣x)+P(y=0∣x)=1P(y=1|\

			
		

	





	

		

			

				
					
机器学习_逻辑回归（超级详细，有推导，有代码，好理解）

				
			

			

				

					GetLxc的博客
				

				

					08-01
					
					205
					
				

			

		

		

			
				
逻辑回归能干什么



			
		

	





	

		

			

				
					
以《简单易懂》的语言带你搞懂逻辑回归算法【附Python代码详解】机器学习系列之逻辑回归篇

					
热门推荐

				
			

			

				

					w0714的博客
				

				

					09-15
					
					4万+
					
				

			

		

		

			
				
目录必看前言逻辑回归算法1 概述2 基本原理3 sklearn实现3.1 导入数据(乳腺癌数据集)3.2 建模3.3 绘制学习曲线3.4 网格搜索-确定最优参数结束语
必看前言
这一篇文章，我会详细从机器学习的角度介绍逻辑回归，以及如何利用Python来实现逻辑回归以及逻辑回归的实战模拟，另外我也会教大家如何利用网格搜索找到最优参数。
干货满满！
逻辑回归算法
1 概述
分类技术是机器学习和数据挖掘应用中的重要组成部分。在数据科学中， 绝大多数的问题属于分类问题。解决分类的算法也有很多种。 如：KNN，使距

			
		

	





	

		

			

				
					
机器学习_逻辑回归代码_癌症案例

				
			

			

				

					12-22
				

			

		

		

			
				
逻辑回归是一种广泛应用于预测分析和分类任务的统计学方法，尤其在机器学习领域中占有重要地位。本案例将深入探讨如何使用逻辑回归模型来预测癌症的发生。我们将通过一个实际的数据集，结合编程代码来理解这一过程。...

			
		

	





	

		

			

				
					
机器学习逻辑回归代码加资料

				
			

			

				

					04-09
				

			

		

		

			
				
在本资料包中，你将找到关于机器学习逻辑回归的代码实例和相关资源，这对于学习和理解这一算法非常有帮助。  首先，逻辑回归的核心是sigmoid函数，其数学表达式为\( g(z) = \frac{1}{1 + e^{-z}} \)，其中\( z \)是...

			
		

	





	

		

			

				
					
吴恩达机器学习逻辑回归练习题及答案

				
			

			

				

					01-04
				

			

		

		

			
				
在本资源中，我们主要关注的是吴恩达（Andrew Ng）教授的机器学习课程中的逻辑回归练习题及其解答。吴恩达是深度学习领域的先驱，他的在线课程深受全球学习者喜爱，尤其对于初学者来说，是入门机器学习的理想选择。...

			
		

	





	

		

			

				
					
机器学习算法基础-逻辑回归

				
			

			

				

					09-16
				

			

		

		

			
				
在压缩包文件“机器学习算法基础--逻辑回归”中，可能包含了关于逻辑回归的理论讲解、代码实现、实例分析等内容。通过学习这些材料，你可以更深入地理解逻辑回归的工作机制，掌握如何在Python等编程语言中使用Scikit...

			
		

	





	

		

			

				
					
机器学习练习线性回归代码

				
			

			

				

					04-09
				

			

		

		

			
				
线性回归是机器学习中最基础且重要的算法之一，它...通过这个"机器学习练习线性回归代码"的实践，你不仅能掌握线性回归的基本操作，还能了解到其在逻辑回归中的应用，这将为你在人工智能和数据挖掘领域打下坚实基础。

			
		

	





	

		

			

				
					
机器学习——逻辑回归算法代码实现

				
			

			

				

					Eos666的博客
				

				

					07-15
					
					3231
					
				

			

		

		

			
				
机器学习——逻辑回归算法代码实现前言一、逻辑回归是什么？二、代码实现1.数据说明2.逻辑回归代码

前言

最近准备开始学习机器学习，后续将对学习内容进行记录，该文主要针对逻辑回归代码实现进行记录！同时也准备建一个群，大家可以进行交流，微信：ffengjixuchui



一、逻辑回归是什么？
逻辑回归概念篇可看博主之前的文章，传送门

二、代码实现
1.数据说明
你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试

			
		

	





	

		

			

				
					
多类别逻辑回归

				
			

			

				

					人工智能学习生
				

				

					03-20
					
					714
					
				

			

		

		

			
				
多类别逻辑回归:使用LogisticRegression多分类模型、使用1 vs All逻辑回归算法

			
		

	





	

		

			

				
					
【机器学习】逻辑回归代码练习

				
			

			

				

					fengdu78的博客
				

				

					11-28
					
					2700
					
				

			

		

		

			
				
是中国大学慕课《机器学习》的“逻辑回归”章节的课后代码。课程地址：https://www.icourse163.org/course/WZU-1464096179课程完整代码：https:...

			
		

	





	

		

			

				
					
【放假第2天】人工智能-逻辑回归多分类-代码

				
			

			

				

					qq_40647378的博客
				

				

					12-17
					
					456
					
				

			

		

		

			
				
1.简单逻辑回归
import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression

m=100
x=6*np.random.rand(m,1)-3
y=0....

			
		

	





	

		

			

				
					
逻辑回归原理及代码实现

				
			

			

				

					professor_tao的博客
				

				

					08-02
					
					1503
					
				

			

		

		

			
				
文章目录逻辑回归原理逻辑回归的主要参数逻辑回归的流程逻辑回归的损失函数梯度下降算法基于链式法则的梯度计算向量化实现梯度计算逻辑回归代码实现获取二分类数据定义初始化模块定义损失函数及梯度定义梯度下降算法定义预测模块定义逻辑回归模型运行模型总结
逻辑回归原理
逻辑回归主要用于解决二分类问题，给定一个输入样本xxx，输出该样本属于1对应类别的预测概率 y^=P(y=1∣x)\hat{y} = P(y=1|x)y^​=P(y=1∣x)。
与线性回归相比，逻辑回归增加了非线性函数，如Sigmoid函数，使得输出值在[

			
		

	





	

		

			

				
					
机器学习逻辑回归分类算法代码

				
			

			

				

					09-27
				

			

		

		

			
				
### 回答1：
下面是一个简单的逻辑回归分类算法的 Python 代码示例：

```python
import numpy as np

class LogisticRegression:
    def __init__(self, learning_rate=0.01, num_iterations=100000, fit_intercept=True):
        self.learning_rate = learning_rate
        self.num_iterations = num_iterations
        self.fit_intercept = fit_intercept

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def fit(self, X, y):
        if self.fit_intercept:
            intercept = np.ones((X.shape[0], 1))
            X = np.hstack((intercept, X))
        
        # 初始化权重
        self.theta = np.zeros(X.shape[1])

        for i in range(self.num_iterations):
            z = np.dot(X, self.theta)
            h = self.sigmoid(z)
            gradient = np.dot(X.T, (h - y)) / y.size
            self.theta -= self.learning_rate * gradient

    def predict_prob(self, X):
        if self.fit_intercept:
            intercept = np.ones((X.shape[0], 1))
            X = np.hstack((intercept, X))

        return self.sigmoid(np.dot(X, self.theta))

    def predict(self, X, threshold=0.5):
        return self.predict_prob(X) >= threshold
```

这里我们定义了一个 `LogisticRegression` 类，它有以下几个方法：

- `__init__`：初始化逻辑回归模型的超参数，包括学习率、迭代次数和是否拟合截距项。
- `sigmoid`：sigmoid 函数，用于将线性函数的输出转换为概率值。
- `fit`：训练模型的方法，使用梯度下降算法来更新权重。
- `predict_prob`：给定输入数据，返回模型预测的类别概率。
- `predict`：给定输入数据和阈值，返回模型预测的类别。

在使用时，首先需要创建一个 `LogisticRegression` 类的实例，然后调用 `fit` 方法来训练模型。训练完成后，可以使用 `predict_prob` 方法来预测类别的概率，或使用 `predict` 方法来预测具体的类别。  

### 回答2：
逻辑回归是一种常用的机器学习算法，用于解决二分类问题。其基本原理是利用线性回归模型的预测结果通过一个sigmoid函数转换成0或1的概率值进行分类预测。

以下是一个简单的机器学习逻辑回归分类算法代码：

1. 导入所需的库：
```python
import numpy as np
from sklearn.linear_model import LogisticRegression
```

2. 准备数据：
```python
X = np.array([[x1, x2], [x1, x2], ..., [x1, x2]]) # 特征矩阵，每行代表一个样本的特征向量
y = np.array([y1, y2, ..., yn]) # 标签向量，表示每个样本的类别
```

3. 创建逻辑回归模型对象：
```python
model = LogisticRegression()
```

4. 使用训练数据进行模型训练：
```python
model.fit(X, y)
```

5. 对新样本进行分类预测：
```python
new_sample = np.array([x1, x2]) # 待预测的新样本的特征向量
predicted_class = model.predict([new_sample]) # 预测样本的类别
```

以上是一个简单的机器学习逻辑回归分类算法的代码实现。要注意的是，在实际应用中，可能需要进行特征工程、数据预处理、模型评估等步骤来提高分类效果。此外，可以通过调整模型的参数，如正则化系数等，来优化模型的性能。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值