- 博客(48)
- 收藏
- 关注
RSS订阅原创 深度学习（四）——目标分类
目录目标分类基本框架数据准备模型设计迁移学习如何设计神经网络例：面部行为识别总结目标分类基本框架数据准备1、数据来源数据来源主要有现有数据集的子集、网络采集以及现有数据人工标注。2、数据扩充通过对原始数据进行处理得到更多的数据，主要方法有原始数据切割、噪声颜色等像素变化、旋转平移等姿态变化。局部切割：噪声颜色、旋转平移：3、数据规范数据规范包括均值处理、归一化以及大小调整等。模型设计1、任务类型分类：表情、种类、人群······分类+回归：表情+程度、种类+信心、什么
2020-06-22 21:55:48
2868
原创 深度学习（三）——卷积神经网络
目录链式反向梯度传导卷积神经网络一卷积层卷积神经网络一功能层链式反向梯度传导1、链式法则的计算2、神经网络中链式法则3、神经网络中链式法则计算顺序：从loss向输入传播；导数存储：每层的导数(δy,δx)(\delta y, \delta x)(δy,δx)结果进行存储,用于下一层导数的计算。卷积神经网络一卷积层1、什么是卷积层卷积神经网络的基本结构；由多个卷积核组合形成；每个卷积核同输入数据卷积运算，形成新的特征“图”。2、什么是卷积核同输入数据进行计算的二维(一
2020-06-17 17:42:15
1117
原创 深度学习（二）——传统神经网络
目录线性回归从线性到非线性神经网络的构建神经网络的配件线性回归1、概念利用线性关系来描述输入到输出的映射关系。例：2、应用场景网络分析、银行风险分析、基金股价预测、天气预报······3、优化方法梯度下降法：梯度计算：参数更新：4、输出可以多目标学习，通过合并多个任务loss，一般能够产生此单个模型更好的效果。5、局限线性回归能够清楚的描述分割线性分布的数据，对非线性分布的数据描述较弱。从线性到非线性1、非线性激励2、考量标准正向对输入的调整反向梯度损失
2020-06-15 22:43:31
546
原创 深度学习（一）——总体介绍
目录从传统到现在深度学习应用特点深度学习框架比较TensorFlow介绍深度学习基本概念从传统到现在深度学习推动因素：理论：CNN、RNN、ReLU···数据：ImangeNet、LFW···硬件：Nvidia CUDA+GPU未来可能进展：无人驾驶、无人超市、自动翻译、个人助手······深度学习应用特点深度学习框架比较TensorFlow介绍优点：文档丰富，适合初学者安装非常方便谷歌支持，长期有效自动求导，只需关注模型设计Keras支持，方便迅速开发
2020-06-12 21:12:59
237
原创 机器学习PYTHON实践
目录绪论统计机器学习三要素监督学习无监督学习强化学习绪论机器学习，它致力于研究如何通过计算（CPU和GPU计算）的手段，利用经验来改善 （计算机）系统自身的性能。机器学习所研究的主要内容：在计算机上从数据中产生“模型（model）”算法(学习算法)数据+机器学习算法=机器学习模型统计机器学习的方式：3. 监督学习4. 无监督学习5. 强化学习统计机器学习三要素统计学习方法由三要素构成：方法=模型+策略+算法1. 模型在监督学习中，模型是所要学习的条件概率分布或决策函数。模型的假
2020-05-26 16:16:01
881
原创 机器学习——HMM
HMM定义1、马尔可夫链马尔可夫链是满足马尔可夫性质的随机过程。马尔可夫性质是无记忆性，也就是说，这一时刻的状态，受且只受前一时刻的影响，而不受更往前时刻的状态的影响。我们下面说的隐藏状态序列就马尔可夫链。2、隐马尔可夫模型隐马尔科夫模型(HMM, Hidden Markov Model)可用标注问题，在语音识别、NLP、生物信息、模式识别等领域被实践证明是有效的算法。HMM是关于时序的概率模型，描述由一个隐藏的马尔科夫链生成不可观测的状态随机序列，再由各个状态生成观测随机序列的过程。隐马尔科夫
2020-05-25 16:22:06
310
原创 机器学习——主题模型
目录朴素贝叶斯的分析LDA涉及的主要问题γ\gammaγ函数Beta分布共轭先验分布二项分布与先验伪计数共轭先验的直接推广LDALDA的应用方向朴素贝叶斯的分析可以胜任许多文本分类问题。无法解决语料中一词多义和多词一义的问题——它更像是词法分析，而非语义分析。如果使用词向量作为文档的特征，一词多义和多词一义会造成计算文档间相似度的不准确性。可以通过增加“主题”的方式，一定程度的解决上述问题。1、一个词可能被映射到多个主题中——一词多义；2、多个词可能被映射到某个主题的概率很高——多词一义。
2020-05-21 20:00:42
222
原创 机器学习——贝叶斯网络
目录基础概念概率图模型朴素贝叶斯贝叶斯网络基础概念一、相对熵相对熵，又称互熵、交叉熵、鉴别信息、Kullback熵、Kullback-Leible散度等。设p(x)，q(x)是X中取值的两个概率分布, 则p对q的相对熵是：相对熵可以度量两个随机变量的“距离”；一般情况下p对q的相对熵不等于q对p的相对熵；p对q的相对熵大于等于0二、互信息两个随机变量X，Y的互信息定义为X，Y的联合分布和独立分布乘积的相对熵。三、信息增益信息增益表示得知特征A的信息而使得类X的信息的不确定性减少
2020-05-15 00:04:52
671
原创 机器学习——EM算法
EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为期望步（E步），另一个为极大步（M步），所以算法被称为EM算法（Expectation Maximization Algorithm）。EM算法受到缺失思想影响，最初是为了解决数据缺失情况下的参数估计问题。例如当两种高斯分布的人混在一块了，我们又不知道哪些人属于第一个高斯分布，哪些属于第二个，所以就没法估计这两个分布的参...
2020-05-05 23:21:42
190
原创 机器学习——聚类
目录聚类的概念相似度的度量方法k-Means算法算法步骤k-Means聚类优点k-Means聚类缺点二分K-means算法K-means++算法Mini Batch K-means算法Canopy算法算法步骤聚类的概念聚类就是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小。聚类是一种无监督学习的方法，是许多领域中常用的统计数据...
2020-04-30 00:05:04
512
1
原创 机器学习——SVM
目录SVM 基本概念构造超平面拉格朗日乘子法等式约束不等式约束——KKT条件SVM目标函数求解支持向量机（SVM）最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出，目前的版本(soft margin)是由 Corinna Cortes 和 Vapnik 在1993年提出。在深度学习（2012）出现之前，SVM 被认为机器学习中近...
2020-04-24 18:27:07
484
原创 机器学习——提升
目录概述对决策树与随机森林的思考集成方法AdaBoost算法推导Gradient Boosting算法推导概述boosting是一种集成技术，试图从多个弱分类器中创建强分类器。通过从训练数据构建一个模型，然后创建第二个模型试图纠正第一个模型中的错误。不断添加模型，直到训练集被完美地预测或者添加到最大数量。提升算法的理论意义在于：如果一个问题存在弱分类器，则可通过提升的方法来得到一个强分类器。...
2020-04-19 22:38:17
412
原创 机器学习——决策树和随机森林
目录熵信息熵条件熵相对熵（KL散度）交叉熵决策树ID3 信息增益C4.5 信息增益率CART树 基尼指数决策树（decision tree）是一种基本的分类与回归方法，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布，其主要优点是模型具有可读性，分类速度快。决策树学习通常包括三个步骤：特...
2020-04-16 22:29:17
749
原创 机器学习——回归
目录线性回归最小二乘法广义逆矩阵正则项梯度下降算法批量梯度下降法随机梯度下降法小批量梯度下降法分类问题的目标变量是标称型数据，或者离散型数据。而回归的目标变量为连续型，也即是回归对连续型变量做出预测，最直接的办法是依据输入写出一个目标值的计算公式，这样对于给定的输入，利用该公式可以计算出相应的预测输出。这个公式称为回归方程，而求回归方程显然就是求该方程的回归系数，而一旦有了这些回归系数，再给定输...
2020-04-13 21:59:43
319
原创 机器学习——数据清洗和特征选择
数据读取和处理Python提供了强大的包，直接用于各种数据读取，比如pandas。import numpy as npimport pandas as pdpd.set_option('display.width', 200)data = pd.read_excel('sales.xlsx', sheet_name='sheet1', header=0)print ('data.h...
2020-04-12 17:45:35
288
1
原创 机器学习导论
一、人工智能的发展⼈⼯智能不是“模仿⼈类”，⽽通常是“远超⼈类”人工智能的三次浪潮1956 Artificial Intelligence提出1950-1970 符号主义流派：专家系统占主导地位—1962：IBM 的跳棋程序战胜人类高手（人工智能第一次浪潮）1980-2000统计主义流派：主要用统计模型解决问题—1997：IBM 深蓝战胜象棋选手卡斯帕罗夫（人工智能第二次浪潮）...
2020-04-09 15:31:30
937
原创 机器学习数学基础
目录什么是机器学习机器学习的角度看数学数学分析导数与梯度泰勒展开式概率论什么是机器学习对于某给定的任务T，在合理的性能度量方案P的前提下，某计算机程序可以自主学习任务T的经验E。随着提供合适、优质、大量的经验E，该程序对于任务T的性能逐步提高。即:随着任务的不断执行,经验的累积会带来计算机性能的提升。机器学习的对象:1、一个或者多个任务 Task——T2、经验 Experience——...
2020-04-06 16:09:58
191
原创 机器学习数据科学包——Matplotlib
目录数据准备创建array对象matplotlib是基于Python语言的开源项目，旨在为Python提供一个数据绘图包。用户在熟悉了核心对象之后，可以轻易的定制图像。import 数据准备Numpy是Python的开源的数值计算扩展，可用来存储和处理大型矩阵，比Python自身数据结构要高效。import numpy as np创建array对象1、从python的基础数据对象转化...
2020-04-01 17:39:19
411
原创 机器学习数据科学包——pandas（三）
目录数据可视化线型图柱状图直方图概率密度图散布图饼图数据可视化Pandas 的数据可视化使用 matplotlib 为基础组件。%matplotlib inlineimport pandas as pdimport numpy as np线型图Series 和 DataFrame 都提供了一个 plot 的函数，可以直接画出线形图。1、Series产生数据ts = pd.Ser...
2020-03-24 19:10:42
148
原创 机器学习数据科学包——pandas（二）
分组计算分组计算三步曲：拆分 -> 应用 -> 合并拆分：根据什么进行分组？应用：每个分组进行什么样的计算？合并：把每个分组的计算结果合并起来。分组计算...
2020-03-24 17:12:51
222
原创 pandas实例——电影数据分析
目录准备工作数据下载分析任务数据处理数据读取数据合并数据分析准备工作数据下载从网站 grouplens.org/datasets/movielens 下载 MovieLens 1M Dataset 数据，该文件包含大约3883部电影的1000209个匿名评级。文件中包含三个数据表，分别为用户表、电影表及评分表。分析任务1、统计电影平均得分2、统计活跃电影 -> 获得评分的次数...
2020-03-13 15:53:06
1898
1
原创 机器学习数据科学包——pandas
目录核心数据结构SeriesDataFramePandas是基于Numpy构建的库，在数据处理方面可以把它理解为numpy加强版。核心数据结构SeriesSeries是一种类似一维数组的数据结构，由一组数据和与之相关的index组成，这个结构看似与dict字典差不多。字典是一种无序的数据结构，而pandas中的Series的相当于定长有序的字典，并且它的index和value之间是独立的。...
2020-03-12 22:03:53
328
原创 机器学习数据科学包——numpy
目录创建数组numpy数组属性numpy基础运算NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。创建数组1、numpy.ndarrayndarray 对象是用于存放同类型元素的多维数组，每个元素在内存中都有相同存储大小的区域。>>> import numpy a...
2020-03-10 17:34:24
97
原创 MySQL基础（四）
目录MySQL中的运算符MySQL中的函数数学函数字符串函数日期时间函数条件判断函数系统信息函数加密函数其他常用函数MySQL的索引创建索引删除索引MySQL中的运算符1、算数运算符MySQL 支持的算术运算符包括加、减、乘、除和模运算。## 算数运算符mysql> SELECT 1+1;+-----+| 1+1 |+-----+| 2 |+-----+1 row ...
2020-03-08 19:48:14
321
原创 MySQL基础（三）
目录更改数据的操作插入数据更新数据删除数据查询数据的操作查询表达式WHERE条件分组查询更改数据的操作插入数据首先创建一个数据表mysql> CREATE TABLE IF NOT EXISTS user( -> id TINYINT UNSIGNED AUTO_INCREMENT KEY, -> username VARCHAR(20) NOT NULL...
2020-03-06 21:13:13
133
原创 MySQL基础（二）
目录数据完整性约束主键约束数据完整性约束数据完整性是指数据的正确性和相容性，是为了防止数据库中存在不符合语义的数据，即防止数据库中存在不正确的数据。在MySQL中提供了多种完整性约束。主键约束主键可以是表中的某一列，也可以是表中的多个列所构成的一个组合；其中，由多个列组合而成的主键也称为复合主键。...
2020-03-05 21:50:56
137
原创 MySQL基础（一）
目录数据库简介MySQL数据库数据库简介1、数据库数据库(database)就是存储数据的仓库，为了方便数据的存储和管理，将数据按照特定的规律存储在磁盘上，通过数据库管理系统，有效地组织和管理存储改据库中的数据。2、数据库系统数据库系统和数据库不是一个概念，数据库系统(DBS)比数据库大很多，由数据库、数据库管理系统、应用开发工具构成。3、数据库管理系统数据库管理系统(DataBas...
2020-03-04 18:39:13
137
原创 PYTHON数据结构与算法学习笔记（六）
目录树与树算法树的概念树的存储与表示二叉树二叉树的性质二叉树的创建二叉树的遍历广度优先遍历(层次遍历)深度优先遍历树与树算法树的概念树（英语：tree）是一种抽象数据类型（ADT）或是实作这种抽象数据类型的数据结构，用来模拟具有树状结构性质的数据集合。它是由n（n>=1）个有限节点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。它...
2020-03-02 18:08:10
131
原创 PYTHON数据结构与算法学习笔记（五）
目录排序与搜索冒泡排序排序与搜索排序算法（英语：Sorting algorithm）是一种能将一串数据依照特定顺序进行排列的一种算法。排序算法的稳定性稳定排序算法会让原本有相等键值的纪录维持相对次序。也就是如果一个排序算法是稳定的，当有两个相等键值的纪录R和S，且在原本的列表中R出现在S之前，在排序过的列表中R也将会是在S之前。例：(4, 1) (3, 1) (3, 7)（5, 6...
2020-03-01 20:51:12
100
原创 PYTHON数据结构与算法学习笔记（四）
目录栈栈结构实现栈栈（stack），也称堆栈，是一种容器，可存入数据元素、访问元素、删除元素，它的特点在于只能允许在容器的一端（称为栈顶端指标，英语：top）进行加入数据（英语：push）和输出数据（英语：pop）的运算。没有了位置概念，保证任何时候可以访问、删除的元素都是此前最后存入的那个元素，确定了一种默认的访问顺序。由于栈数据结构只允许在一端进行操作，因而按照后进先出（LIFO, L...
2020-02-29 16:24:05
223
原创 PYTHON数据结构与算法学习笔记（三）
目录链表链表的定义单向链表节点实现单链表的实现链表顺序表的构建需要预先知道数据大小来申请连续的存储空间，而在进行扩充时又需要进行数据的搬迁，所以使用起来并不是很灵活。链表结构可以充分利用计算机内存空间，实现灵活的内存动态管理。链表的定义链表（Linked list）是一种常见的基础数据结构，是一种线性表，但是不像顺序表一样连续存储数据，而是在每一个节点（数据存储单元）里存放下一个节点的位置...
2020-02-28 18:36:30
127
原创 PYTHON数据结构与算法学习笔记（二）
目录顺序表顺序表的基本形式顺序表的结构与实现Python中的顺序表顺序表在程序中，经常需要将一组（通常是同为某个类型的）数据元素作为整体管理和使用，需要创建这种元素组，用变量记录它们，传进传出函数等。一组数据中包含的元素个数可能发生变化（可以增加或删除元素）。对于这种需求，最简单的解决方案便是将这样一组元素看成一个序列，用元素在序列里的位置和顺序，表示实际应用中的某种有意义的信息，或者表示数据...
2020-02-26 20:57:44
125
原创 PYTHON数据结构与算法学习笔记（一）
目录算法算法的概念算法的特性算法效率衡量Python内置类型性能分析数据结构概念算法与数据结构的关系抽象数据类型(Abstract Data Type)算法算法的概念算法是独立存在的一种解决问题的方法和思想，是计算机处理信息的本质。计算机程序本质上是一个算法来告诉计算机确切的步骤来执行一个指定的任务。一般当算法在处理信息时，会从输入设备或数据的存储地址读取数据，把结果写入输出设备或某个存储...
2020-02-26 17:03:18
399
原创 PYTHON基础知识学习笔记（十五）
目录SQLite数据类型常见操作python操作SQLiteSQLiteSQLite是一种嵌入式数据库，它的数据库就是一个文件。由于SQLite本身是用C写的，而且体积很小，所以经常被集成到各种应用程序中，甚至在IOS和Android的APP中都可以集成。数据类型1、NULL：值是一个 NULL 值。2、INTEGER：值是一个带符号的整数，根据值的大小存储在 1、2、3、4、6 或 8...
2020-02-24 20:33:50
322
原创 PYTHON基础知识学习笔记（十四）
目录CSV文件处理以列表形式读取以命名元组形式读取以字典形式读取CSV文件处理CSV文件：以逗号为分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。以列表形式读取1、csv.reader()函数：将csv文件每一行信息作为列表返回。import csv #导入csv模块...
2020-02-23 18:36:25
142
原创 PYTHON基础知识学习笔记（十三）
目录装饰器概述编写函数基础函数定义装饰器类定义装饰器装饰器参数装饰器概述装饰器是用来管理和增强函数和类行为的代码，可以提供一种在函数或类定义中插入自动运行代码的机制。特点：1、更明确的语法；2、更高的代码可维护性；3、更好的一致性。编写函数基础1、将函数赋给变量；2、将函数作为参数传递；3、函数嵌套及跨域访问。函数定义装饰器可以通过定义函数实现装饰器功能，既可以对函数进...
2020-02-22 16:49:37
93
原创 PYTHON基础知识学习笔记（十二）
目录并发编程概述多线程_thread模块threading模块同步原语：锁队列 queue模块multiprocessing模块concurrent.futures模块并发编程概述1、非并发编程程序由单个步骤序列构成，包含独立子任务的程序执行性能低。2、并发编程异步、高效，分解子任务、简化流程与逻辑。3、进程 process一个程序的执行实例，每个进程有自己的地址空间、内存、数据栈...
2020-02-21 20:33:21
120
原创 PYTHON基础知识学习笔记（十一）
目录系统工具概念sys模块平台与版本观察异常细节命令行参数标准流os模块shell变量管理工具运行shell命令文件处理可移植工具路径模块 .path系统工具概念系统工具就是用于管理系统的工具。如window的命令行工具，linux下的shell脚本，Mac系统叫终端。Python中提供了模块可以直接操作各系统的系统工具，具体模块有很多，主要讲sys和os，其中os支持跨平台，且os.pat...
2020-02-18 18:42:52
1073
原创 PYTHON基础知识学习笔记（十）
目录正则表达式概述典型使用场景语法匹配python中的正则表达式re模块M模块正则表达式正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。概述典型使用场景1、数据验证；2、文本扫描；3、文本提取；4、文本替换；5、文本分割；······语法正则表达式由字符串构成，其中分为两类：字面值、元字符。字面值：字面值又包括普通字符，可直接表达原义，（...
2020-02-18 16:23:26
191
原创 PYTHON基础知识学习笔记（九）
目录对象持久化扁平文件pickle序列化到字符串序列化到文件shelve字符串本质概述字符编码字节与文本的编码、解码类型转换BOM处理对象持久化对象持久化：将当前正在计算的数据结果或者状态永久存储存。扁平文件利用文本文件存储信息，首先将需要储存的变量转化为文本信息，再写入到文件中，使用时再将文本信息反序列化。例：将列表存储到文本文件中再读取出来。scores = [88, 99, 77...
2020-02-16 18:43:32
372
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人