- 博客(54)
- 收藏
- 关注
RSS订阅原创 池化Pooling中的Max Pooling
目录Max Pooling介绍Max Pooling的作用Max Pooling介绍卷积神经网络CNN中，一般在卷积层后还会有一个 pooling层，即池化层，池化层做的实际是数据降维，简化计算。max pooling的操作如下图所示：整个图片被不重叠的分割成若干个同样大小的小块(pooling size)，每个小块内只取最大的数字，舍弃其他节点后，保持原有的平面结构得出output。注意区分max pooling(最大值池化)和卷积核的操作区别：池化作用于图像中不重合的区域(这与卷积操作不同)，
2020-05-26 19:37:17
2141
原创 CV物体检测与目标检测----概述与R-CNN
目录第一部分：简介项目架构：图像识别三大任务：目标检测任务描述第二部分：RCNN第一部分：简介项目架构：数据采集层：数据标注、数据存储深度模型层：数据预处理、多GPU模型训练用户层：网页、小程序，获取识别检测结果图像识别三大任务：目标识别:只有一个物体，分类，定性目标，确定目标是什么；目标检测:有多个物体，定位目标，确定目标是什么以及位置；目标分割:像素级的对前景与背景进行分类，将背景剔除。目标检测任务描述1.算法分类模型训练：加入全连接层，通过softmax进行概率计算，交叉熵损失
2020-05-25 22:55:11
1243
原创 熵、相对熵和交叉熵的区别与联系
目录一.信息量二.熵（信息熵）三.相对熵（KL散度）四.交叉熵五.交叉熵在单分类问题中的应用一.信息量信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。“太阳从东边升起”，这条信息并没有减少不确定性，因为太阳肯定是从东边升起的，这是一句废话，信息量为0。”2018年中国队成功进入世界杯“，从直觉上来看，这句话具有很大的信息量。因为中国队进入世界杯的不确定性因素很大，而这句话消除了进入世界杯的不确定性，所以按照定义，这句
2020-05-13 17:19:11
1428
原创 IDE与编译器、编辑器的区别
目录一.编译器二.编辑器三.IDE一.编译器编译器就是将“一种语言（通常为高级语言）”翻译为“另一种语言（通常为低级语言）”的程序。一个现代编译器的主要工作流程：源代码 (source code) → 预处理器 (preprocessor) → 编译器 (compiler) → 目标代码 (object code) → 链接器 (Linker) → 可执行程序 (executables)。注意：编译器是一个指令，要与编辑器的概念区别开。常用的编译器是将用高级语言编写的代码翻译成低级语言代码：对于J
2020-05-13 13:21:06
4856
转载 软件开发：API和SDK的区别与联系
目录一.API1.发展由来2.概念3.应用案例4.分类二.SDK1.概念三.API和SDK的区别与联系一.API1.发展由来随着软件规模的日益庞大，常常需要把复杂的系统划分成小的组成部分，编程接口的设计十分重要，程序设计的实践中，编程接口的设计首先要使软件系统的职责得到合理划分，良好的接口设计可以降低系统各部分的相互依赖，提高组成单元的内聚性，降低组成单元间的耦合程度，从而提高系统的维护性和...
2020-04-25 23:57:30
1019
原创 python：zip()与zip(*)区别和联系
目录一.函数介绍一.函数介绍形式：zip([iterable, …])，参数iterable为可迭代的对象，并且可以有多个参数。功能：对参数完成压缩功能，将每个参数的对应元素压缩成一个元组。返回值：一个以元组为元素的列表，其中第 i 个元组包含每个参数序列的第 i 个元素。返回的列表长度为最短的参数序列的长度。只有一个序列参数时，返回一个1元组的列表；没有参数时，返回一个空的列表。...
2020-04-22 19:23:40
365
原创 python：shuffle()函数及其数据处理应用
目录一.函数介绍二.数据处理的应用一.函数介绍使用：shuffle()是不能直接访问的，需要导入random模块；功能：shuffle() 方法将序列的所有元素随机排序，函数没有返回值；示例：import randoml=[i for i in range(10)]lOut[35]: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]random.shuffle(l)...
2020-04-22 16:52:26
575
原创 机器学习：特征工程之数据处理
目录第一部分：数据特征预处理一.归一化二.标准化第二部分：数据降维第一部分：数据特征预处理特征处理：通过特定的统计方法（数学方法）将数据转换成算法要求的数据。数值型数据：归一化、标准化、缺失值类别型数据：one-hot编码时间类型：时间的切分一.归一化二.标准化第二部分：数据降维...
2020-04-13 16:49:52
193
原创 机器学习：特征工程之特征提取
目录第一部分：特征工程一.概念二.意义三.特征处理四.特征抽取备注：一.词第一部分：特征工程一.概念1.“数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这句话很好的阐述了数据在机器学习中的重要性。大部分直接拿过来的数据都是特征不明显的、没有经过处理的或者说是存在很多无用的数据，那么需要进行一些特征处理，特征的缩放等等，满足训练数据的要求。2.特征工程的过程：从数据中抽取出对预测...
2020-04-12 11:09:49
1228
原创 机器学习：线性回归1----原理推导
目录第一部分：线性回归一.高斯分布二.最大似然估计MLE三.最小二乘法的本质第一部分：线性回归根据样本标签值y是否是连续性，将算法分为回归----标签值y连续；分类----标签值y离散。一.高斯分布二.最大似然估计MLE三.最小二乘法的本质...
2020-04-09 19:31:19
369
原创 python：正则表达式常用要点
目录第一部分：正则表达式模式创建一.模式创建二.匹配项规则第二部分：对正则表达式的操作一.编译对象执行操作：二.几点注意：三.匹配对象MatchObject的操作四.正则表达式中\1、\2及\name的问题第一部分：正则表达式模式创建Regular Expression，需要导入re模块一.模式创建pattern = re.compile(r’…’)----括号中是要匹配的表达式，r’…'...
2020-04-03 14:54:17
239
原创 机器学习：最大似然估计与过拟合
目录一.贝叶斯公式带来的思考二.最大似然估计三.最大似然估计的应用1.二项分布2.正态分布四.过拟合一.贝叶斯公式带来的思考给定某些样本D，在这些样本中计算某结论A1、A2、…、An出现的概率也就是说，如果知道某样本D发生了，要使得Ai事件发生的概率最大，可以等价转化为，使得Ai事件发生时，样本D发生的概率最大。二.最大似然估计分析：即假定n个样本独立同分布，则可以用L函数表示出事...
2020-03-31 23:00:42
1530
原创 机器学习：数据清洗和特征选择
目录第一部分：数据清洗一.庄家与赔率第一部分：数据清洗一.庄家与赔率1.概念庄家：坐庄的人，负责收发金钱；赔率：表示发生的话可以获得本金的倍数，例如小明下注10两，事件A赔率为3，则发生事件A后，小明可获得30两，净赚20两；事件发生概率与赔率的关系：P*y=1，P为概率，y为赔率盈利率=(下注金额-赔付期望)/下注金额2.赔率分析假定事件有A、B两种可能性，概率分别为p1=0...
2020-03-31 17:15:23
198
原创 机器学习：数据集和机器学习导论
目录第一部分：数据集一.数据集概念第一部分：数据集一.数据集概念1.常用概念每行叫做样本或实例，每列(除最后一列)叫做特征或属性，最后一列为标签列，表示样本所属类别；属性(特征)空间----由特征张成空间的维度；特征或属性向量----组成特征或属性空间中的样本点(行)；特征或属性值----组成特征向量中的值；泛化误差----学习器在新的样本上的误差。如果数据非数字，需要通过lab...
2020-03-28 22:45:39
636
原创 算法数学基础：矩阵和线性代数
目录第一部分：线性代数应用举例第二部分：矩阵介绍一.行列式(n阶方阵)二.余子式和代数余子式三.伴随矩阵四.方阵的逆矩阵五.范德蒙行列式六.概率转移矩阵第三部分：矩阵性质一.矩阵乘法二.矩阵的秩三.正交矩阵四.特征值和特征向量五.正定矩阵第四部分：矩阵求导一.向量对向量求导二.标量对向量求导三.标量对方阵求导第一部分：线性代数应用举例SVD：Singular Value Decompositi...
2020-03-25 21:26:09
591
原创 算法数学基础：概率论与贝叶斯先验
目录第一部分：概率论一.概率论基础二.常见概率分布第一部分：概率论一.概率论基础1.概率与直观：1)本福特定律：又称第一数字定律，指生活中得出的一组数据中，以1为首位数字出现的概率约为总数的三成，是直观想象1/9的三倍。例如阶乘、素数数列、菲波那切数列的首位。2)假设A为[0,0.8]的随机数，B为[0,0.2]的随机数，A、B服从均匀分布，试求B>A的概率3)概率公式：贝叶...
2020-03-24 22:37:02
536
原创 算法数学基础：机器学习与数学分析
目录第一部分一.机器学习备注一.常见词汇第一部分一.机器学习1.人工智能的一个分支。设计一个系统，使它能够根据提供的训练数据按照一定的方式学习，随着训练次数的增加，该系统可以在性能上不断学习和改进；通过参数优化的学习模型，能够用于预测相关问题的输出。2.机器学习可以进行数据清洗、特征选择；确定算法模型、参数优化；结果预测等；3.机器学习并不是：大数据存储、并行计算；做机器人等。4.一般...
2020-03-23 11:54:48
354
原创 数据处理：matplotlib应用3--画图规范及美化
目录第一部分：画图规范一.注释(annotate)二.文字插入(text)三.tex公式(text)第一部分：画图规范一.注释(annotate)import matplotlib.pyplot as pltimport numpy as npx = np.arange(-10,11,1)plt.plot(x,x*x)plt.annotate(s='the bottom',xy=...
2020-03-21 16:15:52
617
原创 数据处理：matplotlib应用2--面向对象作图、图形参数设置
目录第一部分：颜色和样式一.直接调整二.pyplot和面向对象(OO)两种绘图方式第二部分：坐标轴一.子图(subplot)第一部分：颜色和样式一.直接调整1.颜色：import numpy as npimport matplotlib.pyplot as plty=np.arange(1,5)plt.plot(y,color='y')plt.plot(y+1,color=(0,...
2020-03-20 12:48:35
308
原创 数据处理：matplotlib应用1--基本图形
目录第一部分：基本图形一.散点图二.折线图三.条形图第一部分：基本图形一.散点图散点图能描述两个变量的联系：正相关、负相关或无关plt.scatter()中：s：每个点的面积；marker：点的类型，o–圆形；c或color：点的颜色；alpha：点的透明度，1–不透明，0–透明。import numpy as npimport matplotlib.pyplot as plt...
2020-03-19 20:32:49
202
原创 数据处理：pandas进行股票数据和时间事件日志分析
今日学习第一部分：股票数据分析一.概述例如一个股票数据的下载链接：http://quotes.money.163.com/service/chddata.html?code=0600690&start=19931119&end=20180706&fields=TCLOSE;HIGH;LOW;TOPEN;LCLOSE;PCHG;TURNOVER;VOTURNOVER;...
2020-03-18 17:14:48
1121
原创 数据处理：pandas中时间序列、数据可视化
今日学习第一部分：pandas时间序列一.python中的时间日期datetime模块和timedelta模块1.datetime(2016, 3, 20, 8, 30).strftime('%Y-%m-%d %H:%M:%S')----strftime从time格式转化成字符串str格式，strftime()括号内为具体的字符串形式。等价于datetime.strftime(datet...
2020-03-18 09:25:09
1429
原创 数据处理：pandas中聚合、数据IO
今日学习第一部分：pandas聚合统计一.数据聚合数据聚合就是在对数据进行完分组.groupby()操作后进行的运算，如.mean()和.sum() 等。聚合函数除了内置的sum(), min(), max(), mean() 等等之外，还可以自定义聚合函数。自定义聚合函数时，使用 agg() 或 aggregate() 函数。1.自定义聚合函数agg()：例：对于df按照key1进行分...
2020-03-16 11:18:06
291
原创 数据处理：科学数据包pandas基本介绍
今日学习第一部分：pandas包一.pandas基本介绍pandas：python里分析结构化数据的工具集。基础是numpy：提供高性能矩阵运算图形库matplotlib：提供数据可视化二.pandas基本操作1.一维、二维数组的创建和基本操作：import numpy as npimport pandas as pds = pd.Series([1,2,3,4,np.NaN]...
2020-03-11 17:08:17
398
原创 数据处理：科学数据包numpy基本介绍
今日学习第一部分：numpy包一.numpy和pandas优点与python中的list和dictionary不同，numpy包中是用C语言书写的，相比之下，运行速度更快，效率更高，而pandas是基于numpy的科学数据包。二.numpy中的arrayimport numpy as npa = np.array([[1,2,3], [2,3,4]])prin...
2020-03-10 19:32:24
254
原创 算法：机器学习导论
今日学习第一部分：大数据时代一.大数据的4V特征数据量大；数据种类多：结构化数据(mysql)、非结构化数据(图像、音频)、半结构化数据(xml、html)；速度快：数据的增长速度快、处理速度快；价值密度低：价值高，数据总量大，需要机器学习算法解决问题。二.大数据项目架构数据采集层：ftp、socket方式数据存储层：HDFS数据分析层：MR\Hive\Impala\Spark...
2020-03-07 21:23:47
223
原创 数据结构(python实现)：树、二叉树
今日学习第一部分：树的概念与算法一.树的概念树（tree）是一种抽象数据类型（ADT）或是实作这种抽象数据类型的数据结构，用来模拟具有树状结构性质的数据集合。它是由n（n>=1）个有限节点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是根朝上，叶朝下。它具有以下特点：每个节点有零个或多个子节点；没有父节点的节点称为根节点；每一个非根节点有且只有一个...
2020-03-05 22:45:19
408
原创 数据结构(python实现)：归并排序、二分查找
今日学习第一部分：归并排序一.归并排序介绍归并排序的思想就是先递归分解数组，再合并数组。工作原理如下：将数组分解最小之后，然后合并两个有序数组，基本思路是比较两个数组的最前面的数，谁小就先取谁，取了后相应的指针就往后移一位。然后再比较，直至一个数组为空，最后把另一个数组的剩余部分复制过来即可。二.代码实现def merge_sort(alist): if len(alist)...
2020-03-04 22:40:04
413
原创 数据结构(python实现)：希尔排序、快速排序
今日学习第一部分：希尔排序一.希尔排序介绍希尔排序(Shell Sort)是插入排序的一种。也称缩小增量排序，是直接插入排序算法的一种更高效的改进版本。希尔排序是非稳定排序算法。工作原理如下：希尔排序是把记录按下标的一定增量分组，对每组使用直接插入排序算法排序；随着增量逐渐减少，每组包含的关键词越来越多，当增量减至1时，整个文件恰被分成一组，算法便终止。二.代码实现def shel...
2020-03-04 17:38:48
218
原创 数据结构(python实现)：冒泡排序、选择排序、插入排序
今日学习第一部分：排序一.排序算法及其稳定性排序算法（Sorting algorithm）是一种能将一串数据依照特定顺序进行排列的一种算法。稳定性：稳定排序算法会让原本有相等键值的纪录维持相对次序。也就是如果一个排序算法是稳定的，当有两个相等键值的纪录R和S，且在原本的列表中R出现在S之前，在排序过的列表中R也将会是在S之前。...
2020-03-03 19:43:39
155
原创 数据结构(python实现)：栈与队列
今日学习第一部分：栈一.定义栈（stack），也称堆栈，是一种容器，可存入数据元素、访问元素、删除元素。只允许在一端（栈顶端指标，top）进行加入（push）数据和输出（pop）数据的运算。任何时候可以访问、删除的元素都是此前最后存入的那个元素，确定了一种默认的访问顺序。栈数据结构只允许在一端进行操作，按照后进先出（LIFO, Last In First Out）的原理运作。二.栈的实现...
2020-03-02 18:17:07
179
原创 数据结构(python实现)：单向循环列表
今日学习第一部分：单向循环列表一.单向循环列表的定义及本质1.单链表的一个变形是单向循环链表，链表中最后一个节点的next域不再为None，而是指向链表的头节点。2.代码实现：class Node(object): '''单链表的结点定义''' def __init__(self,item): # item存放数据元素，next是下一结点的标识 ...
2020-03-01 19:59:12
320
原创 数据结构(python实现)：双链表
今日学习第一部分：双链表一.双链表的定义及本质1.每个节点有两个链接：一个指向前一个节点，当此节点为第一个节点时，指向空值；而另一个指向下一个节点，当此节点为最后一个节点时，指向空值。2.代码实现：class Node(object): '''结点定义''' def __init__(self,item): # item存放数据元素，next是下一结点的...
2020-03-01 15:16:44
194
原创 数据结构(python实现)：单链表
今日学习第一部分：单链表一.链表引入顺序表的构建需要预先知道数据大小来申请连续的存储空间，使用起来不灵活。链表结构可以充分利用计算机内存空间，实现灵活的内存动态管理。链表（Linked list）是一种常见的基础数据结构，是一种线性表，每个节点有数据区和链接区，链接区存放下一个节点的位置信息（即地址）。二.单链表的定义及本质1.定义：单链表是链表中最简单的一种形式，每个节点包含一个信息...
2020-02-29 16:51:14
369
原创 数据结构(python实现)：顺序表
今日学习第一部分：顺序表一.线性表及其分类1.一个线性表是某类元素的一个集合，记录着元素之间的一种顺序关系。根据线性表的实际存储方式，分为两种实现模型：1)顺序表，将元素顺序地存放在一块连续的存储区里，元素间的顺序关系由它们的存储顺序自然表示。2)链表，将元素存放在通过链接构造起来的一系列存储块中。二.顺序表1.基本形式：第一种：基本形式，每个元素所占的存储单元大小固定相同，数据元...
2020-02-28 23:52:10
1087
原创 算法和数据结构概述
备注1.str1.partition(str2)----将str2字符串按照str1进行分割，如果str2包含str1，则返回一个3元的元组，第一个为str1左边的子串，第二个为str1本身，第三个为str1右边的子串。2.集合之间比较大小实际上是比较它们的包含关系，比如{1,2} 和 {1,2,3} 就是包含关系，{1,2} 和 {2,3,4} 就不是包含关系，即{1,2}<{1,2,...
2020-02-27 20:31:31
183
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人