机器学习算法
常见机器学习具体算法学习
moonbaby1
记录学习
展开
-
面试总结(2)--逻辑回归、线性回归、CNN、LSTM、GRU、激活函数
一.LR推导逻辑回归本质上是线性回归,只是在特征到结果的映射种加入一层逻辑函数g(z)。即先把特征线性求和,然后使用函数g(z)作为假设函数预测。g(z)为sigmoid函数sigmoid导数如下:逻辑回归为什么用sigmoid函数?优点:实现简单,Sigmoid函数是平滑的,可以无限求导。可以从(-∞,+∞)映射到(0,1),符合概率分布缺点:导数在(0,0.25),容易出现梯度消失;只能处理二分问题逻辑回归认为函数其概率服从伯努利分布,将其写成指数族分布的形式。能够推导原创 2020-07-16 18:10:13 · 2812 阅读 · 0 评论 -
机器学习-决策树(8)
目录一.决策树二.信息熵三.基尼系数四.CART与超参数五.决策树解决回归问题一.决策树决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。sklearn中调用决策树from sklearn.tree import De...原创 2020-04-27 00:05:58 · 214 阅读 · 0 评论 -
机器学习-SVM支持向量机(7)
目录一.SVM(Support Vector Machine)二.hard margin表达式三.soft margin正则化四.scikit-learn中的SVM五.SVM中的使用多项式特征六.SVM 思想解决回归问题一.SVM(Support Vector Machine)支持向量机是一类按监督学习方式对数据进行二元分类的广义线性分类器,其决策边界是对学习...原创 2020-04-26 18:21:56 · 390 阅读 · 0 评论 -
机器学习-逻辑回归(6.2)
目录一.决策边界1.两个特征决策边界2.不规则决策边界绘制方法二.逻辑回归中使用多项式回归三.逻辑回归使用正则化四.OVR和OVO一.决策边界用一条直线将逻辑平面分为两部分1.两个特征决策边界举例两个特征的决策边界实现。可以利用边界线将两个类别区分开。先利用逻辑回归计算出θ,再计算对应的决策边界x2的值2.不规则决策边界绘制方法...原创 2020-04-24 22:25:18 · 168 阅读 · 0 评论 -
机器学习-逻辑回归(6.1)
一.逻辑回归logistic回归是一种广义线性回归(generalized linear model),因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同,都具有 w‘x+b,其中w和b是待求参数,其区别在于他们的因变量不同,多重线性回归直接将w‘x+b作为因变量,即y =w‘x+b,而logistic回归则通过函数L将w‘x+b对应一个隐状态p,p =L(w‘x+b),然后根据p...原创 2020-04-24 16:17:56 · 223 阅读 · 0 评论 -
机器学习-多项式回归(5)
一.多项式回归研究一个因变量与一个或多个自变量间多项式的回归分析方法,称为多项式回归(Polynomial Regression)。如果自变量只有一个时,称为一元多项式回归;如果自变量有多个时,称为多元多项式回归。多项式回归可以处理相当一类非线性问题,它在回归分析中占有重要的地位,因为任一函数都可以分段用多项式来逼近。二.scikit-learn中的多项式回归和Pipeline使用...原创 2020-04-24 14:14:48 · 379 阅读 · 0 评论 -
机器学习-PCA降维、去噪(4.2)
目录一.高维数据向低维数据映射二.实现自己封装的PCA三.scikit-learn中的PCA四.降噪手写识别的例子一.高维数据向低维数据映射m个样本,映射到k维主成分分析得到前k个方向的矩阵Wk,W第一行是最重要的,第二行是次重要,以此类推。高维向低维映射低维数据恢复到高维寻找一个坐标表示原来的样本,即主成分。找出前k个主成分,就可以将所有的样本映射...原创 2020-04-21 23:09:24 · 3037 阅读 · 2 评论 -
机器学习-PCA(主成分分析)(4.1)
一.主成分分析是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。主成分分析是对于原先提出的所有变量,将重复的变量(关系紧密的变量)删去多余,建立尽可能少的新变量,使得这些新变量是两两不相关的,而且这些新变量在反映课题的信息方面尽可能保持原有的信息。非监督的机器学习算法 主要用于数据降维 其他应用:可视化;去噪主成分分析...原创 2020-04-21 18:25:51 · 741 阅读 · 0 评论 -
机器学习-梯度下降向量化、数据标准化、随机梯度下降、梯度调试(3.2)
目录一.向量化二.数据归一化三.随机梯度下降法1.概念2.随机梯度下降法3.scikit-learn中的SGD四.梯度调试一.向量化在playML包的LinearRegression.py函数中的class LinearRegression类中添加fit_gd()函数def fit_gd(self, X_train, y_train, eta=0....原创 2020-04-21 15:04:58 · 315 阅读 · 0 评论 -
机器学习-梯度下降法(3.1)
一.梯度下降法不是一个机器学习算法 是一种基于搜索的最优化方法 作用:最小化一个损失函数 梯度上升法:最大化一个效用函数很多函数不能之间求出最小化函数的参数解。需要基于搜索的策略求解。导数代表梯度增大的方向,函数在梯度这个方向的方向导数是最大的。函数方向导数的最大值为梯度的模。η是学习率 η取值影响获最优解速度 η是梯度下降的超参数二.模拟梯度下降法三.线性回...原创 2020-04-21 00:11:35 · 161 阅读 · 0 评论 -
机器学习-线性回归-衡量指标、多元回归(2.2)
一.评测标准1.MSEmse_test = np.sum((y_predict - y_test)**2) / len(y_test)2.RMSErmse_test = sqrt(mse_test)3.MAEmae_test = np.sum(np.absolute(y_predict - y_test))/len(y_test)4.封装测评该函数类定义...原创 2020-04-20 23:15:23 · 1142 阅读 · 0 评论 -
机器学习-线性回归(2.1)
目录一.线性回归(Linear Regression)二.实现简单线性回归法三.向量化一.线性回归(Linear Regression)回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。损失函数(loss function)最小二...原创 2020-04-20 14:40:47 · 168 阅读 · 0 评论 -
机器学习-KNN-准确度、超参数、网格搜索、归一化(1.2)
目录一.分类准确度1.我们的封装accuracy_score(1)KNN.py(2)model_selection.py(3)metrics.py一.分类准确度统计预测结果和test结果真实标签相同的个数。sum(y_predict == y_test) / len(y_test)#相同个数/样本总量。1.我们的封装accuracy_score(1)...原创 2020-04-20 00:50:07 · 855 阅读 · 0 评论 -
机器学习-KNN(K近邻)(1.1)
目录一.KNN概念二.简单例子1.KNN基础2.产生一个新点进行预测3.KNN过程三.使用scikit-learn中的kNN四.训练集、测试集一.KNN概念K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻近值来代表。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具...原创 2020-04-20 00:18:23 · 347 阅读 · 0 评论