文章目录 逻辑回归算法原理推导 Sigmiod函数 逻辑回归求解 逻辑回归手写算法实现 梯度下降求解逻辑回归 sigmoid:映射到概率的函数 model:返回预测结果值 cost:根据参数计算损失值 gradient:计算每个参数的梯度方向 descent:进行参数更新 accuracy:计算精度 案例-交易数据异常检测 样本不均衡解决方案 下采样策略 交叉验证 模型评估方法 正则化惩罚项 L2正则化 L1正则化 混淆矩阵 逻辑回归阈值对结果的影响 SMOTE样本生成策略 总结 流程总结: sklearn调用逻辑回归 总结: 面试可能问到的问题 参考文献 逻辑回归算法原理推导 逻辑回归属于分类算法,做的是分类任务,是一种经典的二分类算法! 因为应用的比较广泛,且表现效果不错。如果做的是分类任务,可以先考虑逻辑回归。 也可以使用逻辑回归解决多分类问题(softmax) 机器学习算法选择:先逻辑回归再用复杂的,能简单还是用简单的。越复杂的结构内部解释起来越复杂,越简单的结构内部解释起来越简单。 逻辑回归的决策边界:可以是非线性的 Sigmiod函数 公式: g ( z ) =