Logistic Regression
The data
我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员,你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据,你可以用它作为逻辑回归的训练集。对于每一个培训例子,你有两个考试的申请人的分数和录取决定。为了做到这一点,我们将建立一个分类模型,根据考试成绩估计入学概率。
The logistic regression
目标:建立分类器(求解出三个参数 θ0θ1θ2θ0θ1θ2)
设定阈值,根据阈值判断录取结果
要完成的模块
• sigmoid : 映射到概率的函数
• model : 返回预测结果值
• cost : 根据参数计算损失
• gradient : 计算每个参数的梯度方向
• descent : 进行参数更新
• accuracy: 计算精度
sigmoid 函数
g(z)=11+e−z
Sigmoid
• g:ℝ→[0,1]g:R→[0,1]
• g(0)=0.5g(0)=0.5
• g(−∞)=0g(−∞)=0
• g(+∞)=1g(+∞)=1
损失函数
将对数似然函数去负号
D(hθ(x),y)=−ylog(hθ(x))−(1−y)log(1−hθ(x))D(hθ(x),y)=−ylog(hθ(x))−(1−y)log(1−hθ(x))
求平均损失
J(θ)=1n∑i=1nD(hθ(xi),yi)J(θ)=1n∑i=1nD(hθ(xi),yi)
计算梯度
∂J/∂θj=−1/m∑i=1n(yi−hθ(xi))xij∂J∂θj=−1m∑i=1n(yi−hθ(xi))xij
Gradient descent
比较3中不同梯度下降方法
不同的停止策略
设定迭代次数
根据损失值停止
设定阈值 1E-6, 差不多需要110 000次迭代
根据梯度变化停止
设定阈值 0.05,差不多需要40 000次迭代
对比不同的梯度下降方法
Stochastic descent
有点爆炸。。。很不稳定,再来试试把学习率调小一些
Mini-batch descent
浮动仍然比较大,我们来尝试下对数据进行标准化 将数据按其属性(按列进行)减去其均值,然后除以其方差。最后得到的结果是,对每个属性/每列来说所有数据都聚集在0附近,方差值为1
它好多了!原始数据,只能达到达到0.61,而我们得到了0.38个在这里! 所以对数据做预处理是非常重要的,更多的迭代次数会使得损失下降的更多!
随机梯度下降更快,但是我们需要迭代的次数也需要更多,所以还是用batch的比较合适!!!
PS:注意精度
The data
我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员,你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据,你可以用它作为逻辑回归的训练集。对于每一个培训例子,你有两个考试的申请人的分数和录取决定。为了做到这一点,我们将建立一个分类模型,根据考试成绩估计入学概率。
The logistic regression
目标:建立分类器(求解出三个参数 θ0θ1θ2θ0θ1θ2)
设定阈值,根据阈值判断录取结果
要完成的模块
• sigmoid : 映射到概率的函数
• model : 返回预测结果值
• cost : 根据参数计算损失
• gradient : 计算每个参数的梯度方向
• descent : 进行参数更新
• accuracy: 计算精度
sigmoid 函数
g(z)=11+e−z
Sigmoid
• g:ℝ→[0,1]g:R→[0,1]
• g(0)=0.5g(0)=0.5
• g(−∞)=0g(−∞)=0
• g(+∞)=1g(+∞)=1
损失函数
将对数似然函数去负号
D(hθ(x),y)=−ylog(hθ(x))−(1−y)log(1−hθ(x))D(hθ(x),y)=−ylog(hθ(x))−(1−y)log(1−hθ(x))
求平均损失
J(θ)=1n∑i=1nD(hθ(xi),yi)J(θ)=1n∑i=1nD(hθ(xi),yi)
计算梯度
∂J/∂θj=−1/m∑i=1n(yi−hθ(xi))xij∂J∂θj=−1m∑i=1n(yi−hθ(xi))xij
Gradient descent
比较3中不同梯度下降方法
不同的停止策略
设定迭代次数
根据损失值停止
设定阈值 1E-6, 差不多需要110 000次迭代
根据梯度变化停止
设定阈值 0.05,差不多需要40 000次迭代
对比不同的梯度下降方法
Stochastic descent
有点爆炸。。。很不稳定,再来试试把学习率调小一些
Mini-batch descent
浮动仍然比较大,我们来尝试下对数据进行标准化 将数据按其属性(按列进行)减去其均值,然后除以其方差。最后得到的结果是,对每个属性/每列来说所有数据都聚集在0附近,方差值为1
它好多了!原始数据,只能达到达到0.61,而我们得到了0.38个在这里! 所以对数据做预处理是非常重要的,更多的迭代次数会使得损失下降的更多!
随机梯度下降更快,但是我们需要迭代的次数也需要更多,所以还是用batch的比较合适!!!
PS:注意精度