线性回归-逻辑回归算法详解(没softmax)

\documentclass[12pt,UTF8]{article}
\usepackage{ctex}	% 中文支持包
\usepackage{graphicx}	% 图片宏包
\usepackage{setspace}	% 设置间距
%\usepackage{fontspec}	% 字体样式
%\usepackage[paperwidth=21cm,paperheight=29.7cm,top=2.54cm,bottom=2.54cm,right=3.17cm,left=3.17cm]{geometry}
\usepackage[top=0.04cm,bottom=0.04cm,right=1.17cm,left=1.17cm]{geometry}	% 页面
%\usepackage{underscore} %下划线
\usepackage{fancyhdr}	% 页眉 页脚
\pagestyle{fancy}		% 页眉 页脚样式
\usepackage[colorlinks,linkcolor=blue,urlcolor=blue]{hyperref}	% 链接，colorlinks表示允许链接为彩色，linkcolor=颜色，可以为超链接设置颜色



\cfoot{ }			% 左 中 右
\renewcommand{\headrulewidth}{0pt} 	% 设置页脚页眉下划线
\renewcommand{\footrulewidth}{0pt}	% 0则取消显示



\begin{document} 

\textbf{}\\
\section*{线性回归\ 数学：}
	\par	假设$\theta_{1}$是年龄的参数，$\theta_{2}$是工资的参数，可贷款金额$h_{\theta}(x)$\\
		拟合的平面：$h_{\theta}(x)=\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}$\, ($\theta_{0}$是偏置项，偏差)\\
		整合：$h_{\theta}(x)=\theta_{0}x_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}$
		\par 填充一列$x_{0}$值为1，结果还是$\theta_{0}$
		\par 整合化简，进行矩阵计算(矩阵标准格式规范/便于计算，行乘列numpy.dot())，$\theta$是特征数 权重参数，x样本数，T——行转列/列转行 \ \ 转置
		\par $h_{\theta}(x)=\sum\limits_{i=0}^{n}\theta_{i}x_{i}=\theta^{T}x$ \ ——》 \ [0,0,0]$^{T}$[0,0,0]
		\par (特征数,权重数$^{T}$ \ 乘以\ \ 样本数) $\theta^{T}x=\sum\limits_{i=0}^{n}\theta_{i}x_{i}=\theta_{0}x_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}$(n=2)
			
\subsection*{误差}
\par 真实值和预测值之间肯定存在差异(用$\epsilon$任意值,来表示误差)
\par 对于每个样本：$y^{(i)} = \theta^{T}x^{(i)}+\epsilon^{(i)}$
\par $y^{(i)}$单个样本(角标)的预测值，\ $\theta^{T}x^{(i)}$单个样本(角标)的实际值，\ $\epsilon^{(i)}$单个样本(角标)的误差\\

\par 误差$\epsilon^{(i)}$是独立、并且具有相同的分布，并且服从均值为0方差为$\theta^{2}$的高斯分布
\par 独立：张三和李四一起去贷款，他俩没关系
\par 同分布：他俩都是去假定的这家银行
\par 高斯分布：银行可能会多给，也可能会少给，但是绝大多数情况下这个浮动不会太大，极小情况下浮动会比较大，也符合正常情况\\

\begin{center}
 (1)预测值与误差：$y^{(i)}=\theta^{T}x^{(i)}+\epsilon^{(i)}$\\
  (2)由于误差服从高斯分布：$p(\epsilon^{(i)})=\frac{1}{\sqrt{2\pi}\sigma}exp\left(-\frac{(\epsilon^{(i)})^{2}}{2\sigma^{2}} \right)$
\end{center}
\par exp = e，$\sigma$标准差，是离均差平方的算术平均数（即：方差）的算术平方根
\par p概率:
\par \ \ 排列——P(n,m)=n!/（n-m）!(n为下标,m为上标)
\par \ \ 组合(0!=1)——C(n,m)=P(n,m)/P(m,m) =n!/m!（n-m）!\\
\par \ \  将(1)式带入(2)式、高斯分布函数：$p(y^{(i)}|x^{(i)},\theta)=\frac{1}{\sqrt{2\pi}\sigma}exp\left(-\frac{(y^{(i)}-\theta^{T}x^{(i)})^{2}}{2\sigma^{2}} \right)$\\
\begin{center} 似然函数：$L(\theta)=\prod\limits_{i=1}^{m}p(y^{(i)}|x^{(i)},\theta)=\prod\limits