FSilverBullet-CSDN博客

原创决策树（一）

决策树（Decesion Tree）是一个树结构（可以是二叉树或非二叉树）其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到达到叶子节点，将叶子节点存放的类别作为决策结果。总结来说，决策树模型核心是下面几部分：- 结点和有向边组成...

2018-12-11 19:45:40 257

现在班级里有50个男生，50个女生，且男生站左，女生站右。我们假定男生的身高服从正态分布 $N(\mu _{1},\sigma _{1}^{2}))$,女生的身高服从另一个正态分布：$N(\mu _{2},\sigma _{2}^{2}))$。这时候我们可以利用极大似然法（MLE），分别通过这50个男生和50个女生的样本来估计这两个正太分布的参数。但是现在，我们让这50个男生50个女生混在...

2018-12-08 15:13:41 451

原创极大似然估计和最大熵模型

极大似然估计极大似然估计是建立在极大似然基础上的一个统计方法，极大似然原理的直观想法是，一个随机试验如若有若干个可能的结果A,B,C,...,若在一次试验中，A出现了，那么可以认为试验条件对A的出现有利，也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面的例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球，99个黑球。现在随机取出一箱，再从抽取的一箱中随机取出一球，结果是...

2018-12-07 23:23:12 3008 2

原创 SVM （五）SMO算法

在之前的文章里面，我们优化的目标函数最终都是关于$\alpha$向量的函数。而怎么极小化这个函数，求出对应的$\alpha$向量，进而求出分类超平面，我们并不知道，只是提了一下解决的方法SMO。本篇就对优化这个关于$\alpha$向量的函数SMO算法做一个总结。1.回顾SVM的优化目标函数\begin{equation}\begin{split}min\ \frac{1}{2}\ \...

2018-07-06 22:21:33 257

原创 SVM （四）软间隔和正则化

\begin{equation}L(W, b, \xi, \alpha, \mu) =\frac{1}{2}||W||^2 + C \sum_{i=1}^{m} \xi_i - \sum_{i=1}^{m} \alpha_i [ y_i (W^T x_i + b) - 1 +\xi_i] - \sum_{i=1}^{m} \mu_i \xi_i \end{equation}

2018-07-01 11:19:27 2236

原创 SVM（三）核函数

今天我们讲解一下SVM的核函数，那么什么是核函数呢？假设我们有这样一个式子：\begin{equation}\begin{split}h_\theta (x_1, x_2) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \theta_3 x{_1^2} + \theta_4 x_2^2\end{split}\end{equation}我们令 \( x_3...

2018-06-26 20:34:05 2368

原创 SVM （二）SVM理论基础

SVM的理论基础上面我们讨论了关于拉格朗日乘子法和KKT条件，下面我们讨论一下SVM的一些基础概念。我们从一个简单地二分类问题来看，给定训练样本集合$ D =\{(x_1,y_1), (x_2,y_2),…, (x_m, y_m)\}, y_i \ \epsilon \ \{-1, +1\}$如下图所示：分类学习最基本的思想就是找到一个超平面将不同的类别分开，因此我们希望找一个决策面使得两个...

2018-06-13 21:57:01 731

原创 SVM（一）拉格朗日乘子法与 KKT条件

支持向量机（SVM），非常的神秘而众所周知的名字，其出来就受到了很大的追捧，号称最优秀的算法之一，简单地理论构造了复杂的算法，简单地用法实现了复杂的问题，一个词形容就是perfect！本文旨在从基础出发，实例化的形式一探SVM的究竟。现在网上分析讲解SVM的博文多不胜数，当然对于那些基础好的一看就懂，但对于我这种渣渣来说看一遍也只能浅薄的了解，过两天又忘了公式的缘由。比如说，在研究SVM之前你是...

2018-06-12 16:25:36 1251

原创社团发现算法

什么是社区？一个社区就是一个包含比其他图的节点之间连接更加稠密的子图；一个图是一个社区结构当且仅当任意子图内的连接数量比子图之间的连接数目多得多。同一社区内的节点与节点之间的连接很紧密，而社区与社区之间的连接比较稀疏。 Newman和Girvan于2004年提出了Modularity的概念。所谓Modularity是指网络中连接社区结构内部顶点的边所占的比例与另外一个随机网络中

2017-09-18 20:27:29 4066 4

原创 PHPExcel 进行Excel读取

第一步下载 phpExcel包下载地址是phpExcel第二步进行简单的demo编写<?php//首先导入PHPExcelrequire_once 'PHPExcel.php';$filePath = "1.xlsx";//这里填写你的Excel文件名//建立reader对象，可以同时兼容2007以及以前的版本，即读取.xsl和.xsls的文件$PHPReader = new PHP

2017-02-24 11:40:12 380

原创 php-Excel-Reader读取日期有误做法

ExcelReader简单易用，相信很多使用PHP的同学们需要从EXCEL中读入数据时候，相信用它非常的好用下载地址点击打开链接那么我们在使用的时候，对日期的读入会有误，下面讲一下正确的读取信息的做法首先我们需要修改下载的文件reader.php第一处修改将31行改成32行的代码，导入oleread.inc文件第二处修改将220行至22

2017-02-22 16:47:18 1748

原创文正教务系统微信开发

文正教务系统微信开发个人开发微信，初出茅庐，以下是自己的一点货，希望对想开发微信的人有一点帮助，因为微信开发测试比较困难，所以将本机作为服务器是一个不错的开发选择，用ngrok进行内网穿透就可以进行本地开发微信，因为ngrok需要翻墙，所以选择了国内的sunny-ngrok软件实现内网穿透。好了，废话不多说，下面是微信开发的具体教程与方法。环境搭建开发语言： php 开发综合环境

2016-11-14 12:02:59 4674

原创欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法**代码块高亮**package aaaa;import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; imp

2016-05-29 15:56:39 264

原创机器学习之决策树

决策树学习算法最著名的主要有ID3决策树学习算法（ID：Iterative Dichotomiser），C4.5决策树算法等。一般来说，决策树算法最重要的是划分准则的选取，如常见的有信息增益、增益率、基尼指数等。这些准则虽然对决策树的尺寸有较大的影响，但是对泛化性能影响很有限。因此需要对决策树进行剪枝，除去数据噪声，常见的剪枝方法有预剪枝和后剪枝两种。那么这两种方法有什么区别呢？预剪枝运用可能会

2016-05-29 15:41:37 315

转载神经网络

第0节、引例本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在http://en.wikipedia.org/wiki/Iris_flower_data_set 找到。这里简要介绍一下Iris数据集：有一批Iris花，已知这批Iris花可分为3个品种，现需要对其进行分类。不同品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度

2016-04-27 23:04:05 434

转载初识Hadoop

Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在线只能试读第一章，不过对Hadoop历史、核心技术和应用场景有了初步了解。 Hadoop历史雏形开始于200

2016-04-26 00:04:25 282

原创 Python网络爬虫与数据库

import DataBaseHelperimport ThreadPoolimport http.cookiejarimport urllib#cookie 登录cj = http.cookiejar.LWPCookieJar()cookie_support = urllib.request.HTTPCookieProcessor(cj)opener = ur

2014-12-08 19:37:22 732

原创 Python之网络爬虫

#-*-coding:utf-8 -*-import DataBaseHelperimport ThreadPoolimport http.cookiejarimport urllib#cookie登陆cj = http.cookiejar.LWPCookieJar()cookie_support = urllib.request.HTTPCookieP

2014-12-04 09:43:08 355 1

silverbullet的专栏