机器学习
文章平均质量分 57
晴空_万里
条条框框框住的是行为,而不是大脑。
展开
-
使用keras进行简单网络训练
代码参考书籍《深度学习实战:基于Tensorflow2和Keras(原书第2版)》分别尝试了简单神经网络搭建、增加网络深度(层数)、使用dropout方式训练三种方法。1、不使用隐藏层的简单神经网络# -*- coding: utf-8 -*-"""不使用隐藏层的简单神经网络@Time : 2022/3/22 23:10@Auth : Eve@File :01.py@IDE :PyCharm"""import tensorflow as tfimport numpy as npfr原创 2022-04-04 11:11:30 · 2166 阅读 · 0 评论 -
python多进程实现jieba分词
使用多进程提升python的效率是非常有用的,抽时间来学习下。说明:1、使用python multiprocessing模块下的Pool具体用法参考官方文档:https://docs.python.org/zh-cn/3/library/multiprocessing.html2、思路是将dataframe拆成小块喂入pool中,由于参数是多个,用到了functools下的partial,具体意义可以参考网上资料3、数据集来自今日头条公开的新闻数据集(约38W条数据)代码如下(文件路径隐去):原创 2022-04-07 21:53:38 · 874 阅读 · 0 评论 -
sklearn笔记整理——(六)支持向量机(SVM)
SVM官网说明:https://scikit-learn.org/stable/modules/svm.html文章目录算法概述算法原理优势与劣势评价标准参数与接口案例代码算法概述支持向量机是机器学习中关注最多的算法之一,也是被实践证明了的强大的算法。有着完美的数学推导,并且在分类(线性分类、二分类、多分类)与回归、聚类、半监督学习方面都有应用。算法原理关于支持向量机的推导,网络与教材中都有很多介绍。这里推荐:1、周志华《机器学习》第六章2、浙大研究生课程相关理论推导部分。(强推浙大视频,数原创 2021-08-11 18:00:53 · 349 阅读 · 0 评论 -
sklearn笔记整理——(五)逻辑回归(Logistic Regression)
线性回归官网说明:https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression逻辑回归(对数几率回归)也在线性回归部分。目录算法原理优势与劣势评价标准参数与接口算法原理逻辑回归主要被应用在金融领域,其数学目的是求解能够让模型对数据拟合程度最高的参数θ的值(让损失函数最小的参数θ取值,损失函数使用极大似然函数推导),以此构建预测函数y(x),然后将特征矩阵输入预测函数来计算出逻辑回归的结果y。返回的y有着概原创 2021-07-26 11:21:45 · 554 阅读 · 0 评论 -
sklearn笔记整理——(四)线性回归(linear regression)
线性回归官网说明:https://scikit-learn.org/stable/modules/linear_model.html算法原理最小二乘法:通过最小化真实值与预测值之间的RSS(残差平方和)来求解参数的方法叫做最小二乘法。推导过程参见菜菜《线性回归大家族》。优势与劣势线性回归是托生于传统统计学的方法,比较成熟。由推导过程可知,逆矩阵存在的充分必要条件是特征矩阵不存在多重共线性。多重共线问题是线性回归需要重点考虑的问题。在统计学中,使用最小二乘法来求解线性回归的方法是一种“无偏估计”的原创 2021-07-22 17:11:41 · 3144 阅读 · 0 评论 -
sklearn笔记整理——(三)随机森林(random forest)
随机森林官网说明:https://scikit-learn.org/stable/modules/ensemble.html#forests-of-randomized-trees算法原理随机森林属于集成算法的一种,基于bagging集成算法。所有基评估器都是决策树。sklearn中随机森林包括随机森林分类与随机森林回归。另外官网也提供了超树(ExtraTreesClassifier)等接口,并且从案例来看,拟合效果也很优越。超树比随机森林还要随机,优势与劣势一般来说,随机森林的效果要好于单棵决策原创 2021-07-20 22:20:51 · 1551 阅读 · 0 评论 -
sklearn笔记整理——(二)决策树(decision tree)
决策树官网说明:https://scikit-learn.org/stable/modules/tree.html算法原理将分类(回归)问题考虑成一棵树成长的过程,将特征作为节点,寻找最佳节点与最佳分支,并且防止过拟合。决策树(DTs)是一种用于分类和回归的非参数监督学习方法。其目标是通过学习从数据特征中推断出的简单决策规则,创建一个预测目标变量值的模型。树可以看作是一个分段常数近似。决策树学习的关键是如何选择最优划分属性。我们希望决策树的分支结点所包含的样本尽可能属于同一类别,即结点的“纯度”越原创 2021-07-20 15:08:35 · 455 阅读 · 1 评论 -
sklearn笔记整理——(一)参考资料
阅读官网说明是最好的学习方式。sklearn官网:https://scikit-learn.org/stable/index.html官网介绍算法大致为综述、优势及劣势、案例,接口、参数说明等。尤其是参数说明,用的时候翻一翻,简单明了。a、书:用的书是周志华老师的《机器学习》(其实李航的《统计学习方法》可能更加友好一些。)、张学工编著的《模式识别》(这本书是研究生课程用书,似乎不是主流机器学习用书,但是讲解也很清楚。)b、课程:浙江大学-浙江大学-研究生机器学习课程-原创 2021-07-20 11:45:28 · 296 阅读 · 0 评论