2020年06月_浩波的笔记

原创数据挖掘之方差分析

1 概要方差分析(Analysis of variance, ANOVA) 主要研究分类变量作为自变量时，对因变量的影响是否是显著的。方差分析的方法是由20世纪的统计学家Ronald Aylmer Fisher在1918年到1925年之间提出并陆续完善起来的，该方法刚开始是用于解决田间实验的数据分析问题，因此，方差分析的学习是和实验设计、实验数据的分析密不可分的。实验设计和方差分析都有自己相应的语言。因此，在这里我们通过一个焦虑症治疗的实例，先了解一些术语，并且思考一下，方差分析主要用于解决什么样的问

2020-06-30 23:50:43 697

原创 CV之LBP特征描述算子-人脸检测

2.1 简介LBP指局部二值模式(Local Binary Pattern)，是一种用来描述图像局部特征的算子，具有灰度不变性和旋转不变性等显著优点。LBP常应用于人脸识别和目标检测中，在OpenCV中有使用LBP特征进行人脸识别的接口，也有用LBP特征训练目标检测分类器的方法，OpenCV实现了LBP特征的计算，但没有提供一个单独的计算LBP特征的接口。也就是说OpenCV中使用了LBP算法，但是没有提供函数接口。2.2 算法理论介绍2.2.1 LBP原理介绍 LBP特征用图像的局部领域的联合分

2020-06-28 23:34:31 457 1

原创数据挖掘之数理统计与常见分布与假设检验

1 一般随机变量1.1 随机变量的两种类型根据随机变量可能取值的个数分为离散型（取值有限）和连续型（取值无限）两类。1.2 离散型随机变量对于离散型随机变量，使用概率质量函数（probability mass function），简称PMF，来描述其分布律。假定离散型随机变量X，共有n个取值，X1X_1X1, X2X_2X2, …, XnX_nXn, 那么 P(X=Xn)≥0 P(X=X_n) \geq 0 P(X=Xn)≥0Σ1nP(X=Xn)=1 \Sigma_{1}^{n} P(X

2020-06-27 20:57:58 725

原创数据挖掘之数理统计与描述性统计

一、数理统计概念1.基本概念释义定义：在数理统计中，称研究对象的全体为总体，通常用一个随机变量表示总体。组成总体的每个基本单元叫个体。从总体 XXX 中随机抽取一部分个体 X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn ,称 X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn 为取自 XXX 的容量为 nnn 的样本。例如，为了研究某厂生产的一批元件质量的好坏，规定使用寿命低于1千小时的为次品，则该批元件的全体就为总体，每个元

2020-06-24 22:16:49 414

原创 CV之Harris特征点检测器-兴趣点检测（详解）

1.1 简介在图像处理领域中，特征点又被称为兴趣点或者角点，它通常具有旋转不变性和光照不变性和视角不变性等优点，是图像的重要特征之一，常被应用到目标匹配、目标跟踪、三维重建等应用中。点特征主要指图像中的明显点，如突出的角点、边缘端点、极值点等等，用于点特征提取的算子称为兴趣点提取（检测）算子，常用的有Harris角点检测、FAST特征检测、SIFT特征检测及SURF特征检测。本次博客较为常用而且较为基础的Harris角点检测算法，它的思想以及数学理论能够很好地帮助我们了解兴趣点检测的相关原理。1.2内

2020-06-24 19:15:32 881

原创数据挖掘之随机事件与随机变量

一、随机事件1.基本概念释义现实生活中，一个动作或一件事情，在一定条件下，所得的结果不能预先完全确定，而只能确定是多种可能结果中的一种，称这种现象为随机现象。例如，抛掷一枚硬币，其结果有可能是出现正面，也有可能是出现反面；掷骰子游戏中，出现的数字可能是1,2,3,4,5,6其中的任意一个。以上这些现象都是随机现象。使随机现象得以实现和对它观察的全过程称为随机试验，记为**EEE**。随机实验满足以下三个条件:可以在相同条件下重复进行；结果有多种可能性，并且所有可能结果事先已知；作一次试验

2020-06-22 22:44:03 350

原创汇编8086CPU常用指令——详解

数据传送类指令数据传送是计算机中最基本、最重要的一种操作，数据传送指令的功能是把数据从一个位置传送到另一个位置。1. 通用数据传送指令（1） MOV指令指令格式：MOV dest , src指令功能：dest←src将数据由源位置传送至目的位置，源操作数不变，不影响标志位。对操作数的规定：src和dest的数据类型要一致类型一致的操作数之一必须有明确的类型，否则要用PTR指明类型。源操作数和目的操作数的寻址（2） XCHG指令指令格式：XCHG reg , reg/me

2020-06-21 22:56:44 8344

原创汇编语言8086CPU之寄存器总结

寄存器是什么呢？其实很简单，寄存器就是个存储信息的单元或者说是器件又或者说是容器而已，就比如内存也是一个存储介质或者说是存储单元而已，其实寄存器从理解上来说和内存差不多，只不过寄存器（这里讨论的寄存器都是 CPU 中的寄存器，不包括外设上的寄存器）位于 CPU 内部，而内存位于 CPU 外部，而且，寄存器比内存可是珍贵得多啊，就拿内存和硬盘来比，肯定是内存在使用上珍贵得多，是 PC 中的稀有资源，而寄存器是 CPU 中的稀有资源，内存和寄存器相比就像硬盘和内存相比一样。而对于一个汇编程序员来说，C

2020-06-21 14:02:49 6203 2

原创批处理作业调度问题 ——回溯法详解

1、问题描述每一个作业Ji都有两项任务分别在2台机器上完成。每个作业必须先有机器1处理，然后再由机器2处理。作业Ji需要机器j的处理时间为tji。对于一个确定的作业调度，设Fji是作业i在机器j上完成处理时间。则所有作业在机器2上完成处理时间和f=F2i，称为该作业调度的完成时间和２、简单描述对于给定的n个作业，指定最佳作业调度方案，使其完成时间和达到最小。区别于流水线调度问题：批处理作业调度旨在求出使其完成时间和达到最小的最佳调度序列；流水线调度问题旨在求出使其最后一个作业的完成时

2020-06-18 08:59:26 4829

原创双机流水作业调度问题——Johnson算法

概述流水作业是并行处理技术领域的一项关键技术，它是以专业化为基础,将不同处理对象的同一施工工序交给专业处理部件执行,各处理部件在统一计划安排下,依次在各个作业面上完成指定的操作。流水作业调度问题是一个非常重要的问题，其直接关系到计算机处理器的工作效率。然而由于牵扯到数据相关、资源相关、控制相关等许多问题，最优流水作业调度问题处理起来非常复杂。已经证明，当机器数(或称工序数)大于等于3时，流水作业调度问题是一个NP-hard问题（e.g分布式任务调度）。粗糙地说，即该问题至少在目前基本上没有可能找到多项

2020-06-17 22:31:43 4369

原创软件工程汇编程序设计——分支程序实验，循环程序实验，综合程序设计实验

1．已知X、Y、Z、MAX为16位的带符号数，求三个数中最大值，结果存入MAX单元。输入变量的初值定义：输出结果的保存说明：2．编写程序计算Y的值，当X<0时，Y=-1；当X=0时，Y=0，当X>0时，Y=1,其中，输入数据X和输出数据Y均在数据段中定义，且皆为字节变量。输入变量的初值定义：输出结果的保存说明：3．编写自命题的程序（可体现创新性）输入变量的初值定义：输出结果的保存说明：...

2020-06-17 22:07:59 3170

原创 LightGBM（lgb）详解

1. LightGBM简介GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。而LightGBM（Light Gradient Boosting Machine）是一个实现GBDT

2020-06-13 16:23:23 65418 3

原创软件工程——硬件汇编程序设计实验——顺序程序实验

若没有安装DOSBox或者不熟悉基本操作建议先看这篇博客汇编程序的编辑、编译、连接与执行（附带DOSBox安装）实验一：顺序程序实验一、实验目的1．通过宏汇编（MASM）上机操作，掌握汇编语言程序的编辑、汇编、连接和执行的完整过程。2．掌握汇编过程中各命令的作用及使用方法，指令语句和伪指令语句的区别。3．掌握8086指令系统中已学指令的格式、功能及其作用。4．结合实例程序掌握汇编语言程序上机过程，熟悉DEBUG程序中常用命令的使用。二、实验内容1．编写程序计算Z=（A+B）- (C-D),

2020-06-12 13:30:57 1391

原创汇编程序的编辑、编译、连接与执行（附带DOSBox安装）

首先介绍俩种方法来编译源程序方法一：step1：编辑源程序1、打开DosBox2、运行edit在命令行输入edit3、在Edit中编译程序，如下图所示（随便举了一个例子）3.1 File->save as3.2 输入你要保存的文件名，以asm后缀结尾，之后点击OK3.3 点击File->exit来退出edit4、再进行完上述对源程序的编辑之后，会得到一个源程序文件D:\software\DOSBox\MASM\hui.asm接下来进行编译源程序step2：编译1、

2020-06-12 11:24:32 5700

原创推荐系统——Item2vec

一、背景推荐系统中，传统的CF算法都是利用 item2item 关系计算商品间相似性。i2i数据在业界的推荐系统中起着非常重要的作用。传统的i2i的主要计算方法分两类，memory-based和model-based。本文主要介绍了microsoft和airbnb两大公司如何将embedding技术应用于推荐／搜索业务。实践证明，embedding技术对于工业场景来说有着很大的价值和应用前景。首先先了解一下word2vec,不太清楚朋友可以转补到NLP–Word2Vec详解二. Item Embe

2020-06-03 18:40:44 5165

原创天池-街景字符编码识别5-模型训练与验证

模型集成包括：集成学习方法、深度学习中的集成学习和结果后处理思路。集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集划分联系紧密。由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许建议选取留出法，如果需要追求精度可以使用交叉验证的方法。下面假设构建了10折交叉验证，训练得到10个CNN模型。那么在10个CNN模型可以使用如下方式进行集成：对预测的结果的概率值进行平均

2020-06-03 14:23:48 225

原创 NLP--Word2Vec详解

word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；并且，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。随着深度学习（Deep Learning）在自然语言处理中应用的普及，很多人误以为word2vec是一种深度学习算法。其实word2vec算法的背后是一个浅层神经网络。另外需要强调的一点是，word2vec是一个计算word vector的开源工具。当我们在说word2vec算法或模型的时候，其实指的是其背后用于计算word vect

2020-06-02 11:40:47 930

原创腾讯TI-ONE平台从cos导入数据到jupyterLab失败

如何使用的是公共数据集例如本测试案例路径为：https://tesla-ap-guangzhou-1256322946.cos.ap-guangzhou.myqcloud.com/cephfs/tesla_common/deeplearning/dataset/contest/demo.zip!pip install wgetimport wget, tarfilefilename = wget.download("https://tesla-ap-guangzhou-1256322946.cos.

2020-06-01 20:22:42 1238

原创主成分分析（PCA）方法

主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。在理解特征提取与处理时，涉及高维特征向量的问题往往容易陷入维度灾难。随着数据集维度的增加，算法学习需要的样本数量呈指数级增加。有些应用中，遇到这样的大数据是非常不利的，而且从大数据集中学习需要更多的内存和处理能力。另外，随着维度的增加，数据的稀疏性会越来越高。在高维向量空间中探索同样的数据集比在同样稀疏的数据集中探索更加困难。主成分分析也称

2020-06-01 17:19:14 2070

原创 Personal Rank——个性化推荐召回算法python

慕课推荐系统笔记1、个性化召回算法Personal Rank背景与物理意义1、首先介绍基于图的个性化召回算法—personal rank的背景。（1）用户行为很容易表示为图图这种数据结构有两个基本的概念—顶点和边。在实际的个性化推荐系统中，无论是信息流场景、电商场景或者是O2O场景，用户无论是点击、购买、分享、评论等等的行为都是在user和item两个顶点之间搭起了一条连接边，构成了图的基本要素。实际上这里user与item构成的图是二分图，后面会介绍二分图的概念以及结合具体的例子展示如何将用户

2020-06-01 09:56:01 815

weixin_44023658的博客