180125_机器学习_初级算法调研

目标：预测建模
方法：机器学习
实际：泛函分析
本质：找到一个目标函数f，使其成为输入变量X到输出变量Y之间的最佳映射：Y=f(X)


1.线性回归[常用spss]
一元：y=ax+b+C，误差C服从均值为0的正态分布
N元：y=a1x1+a2x2+a3x3+...anxn+b+C，误差C服从均值为0的正态分布
方法：待定系数法，先决定影响因素个数，1个还是多个，若1个，设未知数a，b，样本点到直线L：ax+b-y=0的距离平方和函数W(a,b)是二元二次函数，先确定边界点，再确定边界内是否光滑，若是，求偏导[梯度下降优化]，令其为0，求出a，b。若不光滑，将不可导点和边界点作为可疑点带入计算，求W最小值[普通最小二乘法]对应的a,b。确定a，b后，计算每个点到回归线的误差，检验误差是否服从均值为0的正态分布，相关系数r代表能被回归直线解释的比例，多元同理。
适用场景：趋势线，相关因素分析，资产定价，经济预测


2.逻辑回归[实际用的比线性回归多，因为逻辑判断是社会衡量事情的主要方式，比如大中小户，优良中差][常用spss]
本质：用于解决分类问题，分类问题过渡通常是非线性，有加速带和惯性的，在线性回归之后多加一层映射，将非线性映射再次映射成逻辑值
一元：y=a(x)x+b+C，D为y的临界点，通常为0.5，误差C服从均值为0的正态分布
N元：y=a1(x1)x1+a2(x2)x2+a3(x3)x3+...an(xn)xn+b+C，D为y的临界点，通常为0.5，误差C服从均值为0的正态分布
它的目标是找出每个输入变量的加权系数值，预测输出值的函数是非线性的
逻辑回归的函数图像看起来是一个大的S形，并将任何值转换至0到1的区间[由于惯性起步慢，中途突破临界点，开始加速，后期受到天命，资源限制，开始减速，比如有人考90，有人考100，考90的是突破了临界点，考100的是受到了分数上限的限制]