Just for fun的专栏

原创 STL（九）slist单向链表容器

slist为单向链表的泛化容器，与list双向链表容器一样，实现了线性表数据的链表存储，元素数据不必在物理内存中连续分布。一、slist技术原理    slist内部的链表二、slist应用基础#include 1、STLport安装配置2、创建slist对象     slist()     slist(size_type n)3、初始化赋值    void

原创 STL（八）list双向链表容器

list是双向链表的一个泛化容器，实现了Reversible Container,  Front Insertion Sequence and Back Insertion Sequence等概念的接口规范    不同于采用线性表顺序存储结构的vector and deque容器，list双向链表中任一位置的元素查找、插入和删除，都具有高效的常数阶算法时间复杂度O（1）一、list技术原理

原创 STL（七）deque双端队列容器

deque双端队列容器与vector非常相似，不仅可在尾部插入和删除，还可在头部插入和删除，时间复杂度是O（1），是一个实现了Random access container， Back insertion sequence 和 Front insertion sequence概念的模型。deque内部的数据机制与执行性能与vector不同，一般说来，当考虑到容器元素的内存分配策略和操作的性能时，d

原创 STL（六）Vector向量容器

作为数组的一个泛化推广的vector容器，vector是一种简单、高效的容器。在尾端插入和删除元素，算法时间复杂度为O（1）常数阶，其他元素的插入和删除为O（n）线性阶，其中n为vector容器的元素个数。vector具有自动的内存管理功能，对于元素的插入和删除，可动态调整所占用的内存空间。一、vector技术原理       vector容器是一个线性结构，3个指针变量分别为M_star

转载 遗传算法在走迷宫游戏中的应用

我的数据挖掘算法库:https://github.com/linyiqun/DataMiningAlgorithm 我的算法库:https://github.com/linyiqun/lyq-algorithms-lib前言遗传(GA)算法是一个非常有意思的算法，因为他利用了生物进化理论的知识进行问题的求解。算法的核心就是把拥有更好环境适应度的基因遗传给下一代，这就是其中的关键的选

原创 STL（五）泛化技术分析

本章中，将选择有代表性的源码，分析算法、容器、迭代器、函数对象、适配器和内存分配器的泛化实现原理，并对各种Concept（概念）做出详细地说明一、算法和迭代器    算法使用迭代器来读写数据，尤其是通过容器自身的迭代器，对容器的数据进行操作。函数对象解决了在算法中调用外部函数的问题。适配器用于泛化类型的转换，可对迭代器、容器和函数对象进行转换。可以说，基于算法的泛化实现，引用了迭代器、函数

转载 一文读懂遗传算法工作原理（附Python实现）

选自AnalyticsVidhya参与：晏奇、黄小天近日，Analyticsvidhya 上发表了一篇题为《Introduction to Genetic Algorithm & their application in data science》的文章，作者 Shubham Jain 现身说法，用通俗易懂的语言对遗传算法作了一个全面而扼要的概述，并列举了其在多个领域的实际应用，其中重

原创 STL（四）泛化技术基础

STL(Standard Template LIbrary)标准模板库提供了大量的模板类和模板函数，大大简化了数据结构和算法的代码编写任务。   考虑到在编译和应用上的一些因素，如模板类型的安全性检查、编译速度和减少语言的依赖性等，C＋＋STL在广泛使用模板编程的同时，还引入了诸多concept概念、迭代器和函数对象等技术性的内容。一、C＋＋ STL的发展历程     1971年左右引

原创 遗传算法聚类分析

遗传算法基本概念遗传算法的构成要素控制参数的选择基于遗传算法的聚类分析一、遗传算法基本概念**遗传算法**（Genetic Algorithms, GA）是一种搜索最优解方法，模拟生命进化机制。对于复杂的优化问题无须建模和进行复杂运算，只要利用遗传算法的三个算子就能得到最优解。1、术语介绍：个休、群体、基因、选择、交叉、变异等2、遗传算法进行问题求解过程： **编码**：将问题

原创 模糊聚类分析

一、基本概念    1、模糊集概念：1965年FuzzySets论文发表，模糊数学便应运而生，在信息科学、系统工程、生物科学、社会科学、心理学、医学等方面都有广泛的应用。模糊集理论是对传统集合理论的一种推广，在传统集合理论中，一个元素或者属于一个集合，或者不属于一个集合，而对于模糊集来说，每一个元素都是以一定的程序属于某个集合，也可以同时以不同的程度属于几个集合。对于计算机来说，复杂性

原创 STL（三）C＋＋ I／O流技术

C＋＋标准模板库中，提供了一组模板类和相应的具现类，来支持面向对象的数据输入输出功能，如基本的输入输出流istream类／ostream类／iostream类和文件输入输出流ifstream类／ofstream类／fstream类等。一、I／O流类  使用C＋＋的I／O流类，需要用宏语句"#include " or "#include "。  由于支持单字节和多字节的字符数据读写，C＋

原创 STL（二）C＋＋模板技术

模板纯粹是为了将预处理宏推广到C＋＋而来，不同于宏使用一套“指令开头用＃，指令结尾不带分号，标志符定义不使用类型”的被受争议的语法。      模板的作用在于定制函数和类，因此又称模板函数和模板类，表明模板的语法形式仿照了熟悉的函数和类的语法，只是数据类型需要用关键字"template“声明为泛化的类型。一、函数模板//int max(int a, int b) {// re

原创 STL（一）C＋＋编程技术

C＋＋语言由Bjarne Stroustrup开发，兼容于C语言，以面向对象方式，提供更直观的程序设计方法，更强大的语言开发能力，更严谨的安全管理和更有效的程序代码组织机制。一、类和对象：支持面向对象编程二、类的继承：一个类（继承类）可在另一个类（基类）的基础上，增设变量和函数，从而实现了基类的一个扩充三、函数重载：重载的函数都具有相同的函数名，但要求参数的类型或个数必须不同，以使

转载 SIFT算法详解

尺度不变特征变换匹配算法详解Scale Invariant Feature Transform(SIFT)Just For Funzdd  zddmail@gmail.com or (zddhub@gmail.com)对于初学者，从David G.Lowe的论文到实现，有许多鸿沟，本文帮你跨越。如果你学习SIFI得目的是为了做检索，也许 OpenSSE 更适合你，欢迎使用。

转载 聚类系列

聚类系列：聚类(序)----监督学习与无监督学习聚类(1)----混合高斯模型 Gaussian Mixture Model 聚类(2)----层次聚类 Hierarchical Clustering 聚类(3)----谱聚类 Spectral Clustering--------------------------------        

转载 分解机(Factorization Machines)推荐算法

转载 蒙特卡洛算法

从今天开始要研究Sampling Methods，主要是MCMC算法。本文是开篇文章，先来了解蒙特卡洛算法。  Contents    1. 蒙特卡洛介绍   2. 蒙特卡洛的应用   3. 蒙特卡洛积分   1. 蒙特卡洛介绍    蒙特卡罗方法（Monte Carlo method），也称统计模拟方法，是二十世纪四十年代中期由于科学技术的

转载 稀疏编码系列4:稀疏模型与结构性稀疏模型

稀疏编码系列：（一）----Spatial Pyramid 小结（二）----图像的稀疏表示——ScSPM和LLC的总结（三）----理解sparse coding（四）----稀疏模型与结构性稀疏模型---------------------------------------------------------------------------              

转载 稀疏编码系列3:理解稀疏编码sparse coding

稀疏编码系列：（一）----Spatial Pyramid 小结（二）----图像的稀疏表示——ScSPM和LLC的总结（三）----理解sparse coding（四）----稀疏模型与结构性稀疏模型---------------------------------------------------------------------------        

转载 稀疏编码系列2:图像的稀疏表示——ScSPM和LLC的总结

稀疏编码系列：（一）----Spatial Pyramid 小结（二）----图像的稀疏表示——ScSPM和LLC的总结（三）----理解sparse coding（四）----稀疏模型与结构性稀疏模型--------------------------------------------------------------------------- 前言

转载 稀疏编码系列1:Spatial Pyramid Matching 小结

稀疏编码系列：（一）----Spatial Pyramid 小结（二）----图像的稀疏表示——ScSPM和LLC的总结（三）----理解sparse coding（四）----稀疏模型与结构性稀疏模型---------------------------------------------------------------------------           SPM

转载 稀疏编码(Sparse Coding)的前世今生(一)

稀疏编码来源于神经科学，计算机科学和机器学习领域一般一开始就从稀疏编码算法讲起，上来就是找基向量（超完备基），但是我觉得其源头也比较有意思，知道根基的情况下，拓展其应用也比较有底气。哲学、神经科学、计算机科学、机器学习科学等领域的砖家、学生都想搞明白人类大脑皮层是如何处理外界信号的，大脑对外界的“印象”到底是什么东东。围绕这个问题，哲学家在那想、神经科学家在那用设备观察、计算机和机器学习科学家则是

转载 机器学习中的相似性度量

在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。 本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距离

转载 27 个机器学习、数学、Python 速查表

机器学习涉及到的方面非常多。当我开始准备复习这些内容的时候，我找到了许多不同的”速查表”, 这些速查表针对某一主题都罗列出了所有我需要知道的知识重点。最终我编译了超过 20 份机器学习相关的速查表，其中一些是我经常用到的而且我相信其他人也会从中受益。本文整理了我在网络上找到的 27 个速查表，我认为比较好。如果我有遗漏，欢迎补充。如今机器学习领域的发展相当迅速，我可以想象出来这些资源将会很快过

转载 堪称最好的A*算法

如此好贴，不能不转！原文地址：http://dev.gameres.com/Program/Abstract/Arithmetic/AmitAStar.mht本文版权归原作者、译者所有，我只是转贴；如果侵害到您的权益，请联系我，我将删除本文。基本上，这文章可以说是最佳A*算法文档。极力推荐！Amit's A star Page中译文 译序这篇文章很适合A*算法的初学者，可惜

转载 网格搜索算法与K折交叉验证

网格搜索算法和K折交叉验证法是机器学习入门的时候遇到的重要的概念。网格搜索算法是一种通过遍历给定的参数组合来优化模型表现的方法。以决策树为例，当我们确定了要使用决策树算法的时候，为了能够更好地拟合和预测，我们需要调整它的参数。在决策树算法中，我们通常选择的参数是决策树的最大深度。于是我们会给出一系列的最大深度的值，比如 {'max_depth': [1,2,3,4,5]}，我们会尽可能

转载 深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）

前言 （标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD 此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient desce

转载 深度学习优化函数详解

深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题深度学习优化函数详解（1）– Gradient Descent 梯度下降法深度学习优化函数详解（2）– SGD 随机梯度下降本文延续该系列的上一篇 深度学习优化函数详解（2）– SGD 随机梯度下降上一篇我们说到了SGD随机梯度下降法对经典的梯度下降法有了极大速度的提升。但有一个问题就是由于过

转载 对抗样本和对抗网络

对抗样本和对抗网络所谓对抗 样本是指将实际样本略加扰动而构造出的合成样本，对该样本，分类器非常容易将其类别判错，这意味着光滑性假设(相似的样本应该以很高的概率被判为同一类别)某种程度上被推翻了。Intriguing properties of neural networks, by Christian Szegedy at Google, et al，2014. 这篇论文应该是最早提出对抗

转载 Dropout浅层理解与实现

Dropout浅层理解与实现原文地址：http://blog.csdn.net/hjimce/article/details/50413257作者：hjimce一、相关工作    本来今天是要搞《Maxout Networks》和《Network In Network》的，结果发现maxout和dropout有点类似，所以就对dropout做一下相关的总结，了解一下其代码层面的实现

转载 LDA（Latent Dirichlet Allocation）简介

一、简介    LDA（隐狄利克雷分布）是一种无监督学习的主题概率生成模型，输入是文档集合和主题个数，输出是以概率分布的形式呈现的主题，常用于主题建模、文本分类、观点挖掘等多个领域。    它假定了一个前提：文档相当于一个词袋（bag-of-words），袋子中的词是独立可交换的，没有语法结构和顺序。    其基本思想是：每个文档（Document）由多个主题（Topic）构成，每个主

转载 计算图（computational graph）角度看BP（back propagation）算法

从计算图（computational graph）角度看BP（back propagation）算法，这也是目前各大深度学习框架中用到的，Tensorflow, Theano, CNTK等。参考【1】一、通用形式1. 什么是计算图结构 从下图中我们可以清楚地看到 （1）可以将计算图看作是一种用来描述function的语言，图中的节点node代表function的输入（可以是常数

转载 模式识别与机器学习（一）：概率论、决策论、信息论

本系列是经典书籍《Pattern Recognition and Machine Learning》的读书笔记，正在研读中，欢迎交流讨论。基本概念1. 模式识别（Pattern Recognition）：是指通过算法自动发现数据的规律，并进行数据分类等任务。2. 泛化（generalization）：是指对与训练集数据不同的新样本进行正确分类的能

转载 模式识别与机器学习（二）：常用的概率分布（共轭分布等）

第二章主要介绍几个重要的概率分布及其特性。1. 二值变量的概率分布       假设一个二元随机变量，用参数表示的概率为：。（1）伯努利分布（Bernoulli distribution）       概率分布函数：       期望：       方差：       log似然函数为：   

转载 反向传播算法（过程及公式推导）

反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。其主要思想是：（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至

转载 softmax的log似然代价函数（公式求导）

在人工神经网络（ANN）中，Softmax通常被用作输出层的激活函数。这不仅是因为它的效果好，而且因为它使得ANN的输出值更易于理解。同时，softmax配合log似然代价函数，其训练效果也要比采用二次代价函数的方式好。1. softmax函数及其求导        softmax的函数公式如下：        其中，表示第L层（通常是最后一层）

转载 交叉熵代价函数（作用及公式推导）

交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前，本文先简要介绍二次代价函数，以及其存在的不足。1. 二次代价函数的不足        ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时，当发现自己犯的

转载 Karhunen-Loeve变换

http://www.360doc.com/content/17/0822/09/46645084_681154695.shtmlK-L变换（ Karhunen-Loeve Transform）是建立在统计特性基础上的一种变换，有的文献也称为霍特林（Hotelling）变换，因他在1933年最先给出将离散信号变换成一串不相关系数的方法。K-L变换的突出优点是相关性好，是均方误差（MSE，M

转载 SSE相关的文档

在网上搜集SSE2等相关的问题的解答还是比较少的，所以搜集了一下相关的文档，方便后边的查阅：1.Intel SSE指令集的使用（好像是书的一部分，是书的第三章）。2.SSE4.2命令集的详细介绍（包含MMX/SSE/SSE2/SSE3/SSE4的介绍，比较详细）3.SSE体系和结构（华南理工大学陈虎博士PPT）4.SSE指令集

转载 Intel 平台编程总结----SIMD技术

SIMD是指单指令多数据技术，它已经成为Intel处理器的重要性能扩展。目前Intel处理器支持的SIMD技术包括MMX,SSE,AVX.MMX提供了8个64bit的寄存器进行SIMD操作，SSE系列提供了128bit的8个寄存器进行SIMD指令操作。而最新的AVX指令则支持256bit的SIMD操作。目前SIMD指令可以有四种方法进行使用分别是汇编语言，C++类，编译器Intrisinc