- 博客(26)
- 收藏
- 关注
RSS订阅
原创 关于博客迁移至Hexo
新博客地址：Sonnet’s Blog目前Github Page + Hexo的方案比较流行，新博客留作日常记录与分享，欢迎关注。
2018-02-24 00:53:00
908
原创 等式约束与不等式约束问题
针对特殊约束条件下的优化问题，有着不同类别适应不同条件的求解算法。包括梯度法、求解线性等式约束问题的投影梯度法、适用于含有等式约束规划和含有不等式规划的拉格朗日乘子法、针对不等式约束的KKT条件法、罚函数法等。等式约束问题设目标函数为f(x)，约束条件为hk(x)h_k(x)，形如 minf(x)s.t.hk(x)=0k=1,2,⋯kmin \quad f(x) \\ s.t. \
2017-02-26 17:07:40
24825
原创 SVM支持向量机
通俗来讲，SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。SVM主要是用来做分类工作，诸如文本分类，图像分类，生物序列分析和生 物数据挖掘， 手写字符识别等领域独有广泛应用。
2017-02-26 16:11:16
442
原创 用Tensflow写简单的神经网络
一个简单神经网络所具有的模块结构，首先输入层(Input Layer)，接受相关的结构化化数据；其次是隐藏层(Hidden Layer)，隐藏层主要加权运算，通过激活函数达到拟合线性非线性函数的目的；最后有输出层(Output Layer)，其结果成为下一次迭代的初始值。
2017-02-25 02:17:03
2899
原创 优化算法：牛顿法
我们在接触具体的机器学习算法前，其实很有必要对优化问题进行一些介绍。 随着学习的深入，笔者越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。 最常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度方向法等。
2017-02-15 15:59:24
3466
原创 优化算法：梯度法
我们在接触到具体的机器学习算法前，其实很有必要对优化问题进行一些了解。 随着学习的深入，越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。最常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度方向法等。...
2017-02-12 17:55:05
3254
原创 SQL基础查询与排序
本笔记为阿里云天池龙珠计划SQL训练营的学习内容，链接为：https://tianchi.aliyun.com/specials/promotion/aicampsql；题5SELECT product_id, SUM（product_name）--本SELECT语句中存在错误。 FROM product GROUP BY product_id -- group by列有误 WHERE regist_date > '2009-09-01';题6select product_t
2021-11-24 09:59:09
353
原创 SQL基础：初识数据库与SQL-安装与基本介绍
SQL基础：初识数据库与SQL-安装与基本介绍本笔记为阿里云天池龙珠计划SQL训练营的学习内容，链接为：https://tianchi.aliyun.com/specials/promotion/aicampsql；-- 3.1CREATE TABLE Addressbook (regist_no integer NOT NULL ,name varchar(128) NOT NULL,address varchar(256) NOT NULL,tel_no char(10),mail_a
2021-11-24 09:49:40
257
原创 2017年(Lunar Year)读书与看剧
读书（文学类）加缪. 《鼠疫》 朱光潜.《西方美学史》 读的慢，忘的快 乔治·奥威尔. 《1984》 乔治·奥威尔. 《动物农庄》 艾玛·拉金《在缅甸寻找乔治·奥威尔》 凯鲁亚克. 《在路上》 白先勇 《台北人》 尤瓦尔·赫拉利 《人类简史:从动物到上帝》 尤瓦尔, 赫拉利. 《未来简史》 斯蒂芬·茨威格. 《人类群星闪耀时》 尼古拉斯·斯帕克思. 《分手信》 卡勒德·...
2018-02-21 17:12:20
306
原创 MacOS下使用python的多版本方案
背景MacOS系统本身自带python，但是版本仍然停留在python2.7。私以为python2与python3语言差别比较大，python3额外一些新特性如“通配符**，字典可排序，统一的Unicode编码”等，都值得去尝试。为此，保证电脑上两个版本都能共存是很必要的。方案一：使用pyenv兼容多版本pyenv 是轻量的Python版本管理器，帮助你在电脑上建立多个版本的pyth...
2018-02-17 15:34:54
2847
原创 全局搜索算法：粒子群算法
序言前面讨论过一些迭代算法，包括牛顿法、梯度方法、共轭梯度方法和拟牛顿法，能够从初始点出发，产生一个迭代序列。很多时候，迭代序列只能收敛到局部极小点。因此，为了保证算法收敛到全局最小点，有时需要在全局极小点附近选择初始点。此外，这些方法需要计算目标函数。全局优化算法又称现代启发式算法，是一种具有全局优化性能、通用性强且适合于并行处理的算法。 这种算法一般具有严密的理论依据，而不是单纯凭借专家经验
2017-02-28 11:51:27
7809
原创 全局优化算法：模拟退火算法
序言前面讨论过一些迭代算法，包括牛顿法、梯度方法、共轭梯度方法和拟牛顿法，能够从初始点出发，产生一个迭代序列。很多时候，迭代序列只能收敛到局部极小点。因此，为了保证算法收敛到全局最小点，有时需要在全局极小点附近选择初始点。此外，这些方法需要计算目标函数。全局优化算法又称现代启发式算法，是一种具有全局优化性能、通用性强且适合于并行处理的算法。 这种算法一般具有严密的理论依据，而不是单纯凭借专家经验
2017-02-28 11:03:50
3453
原创 全局优化算法：遗传算法
全局优化算法概述前面讨论过一些迭代算法，包括牛顿法、梯度方法、共轭梯度方法和拟牛顿法，能够从初始点出发，产生一个迭代序列。很多时候，迭代序列只能收敛到局部极小点。因此，为了保证算法收敛到全局最小点，有时需要在全局极小点附近选择初始点。此外，这些方法需要计算目标函数。全局优化算法又称现代启发式算法，是一种具有全局优化性能、通用性强且适合于并行处理的算法。 这种算法一般具有严密的理论依据，而不是单纯凭
2017-02-26 13:34:48
24695
原创 广义线性模型
广义线性模型(Generalized Linear Model)本文沿接接着上节的指数分布族,文章中注了引入指数分布族的概念是为了说明广义线性模型。概念广义线性模型（generalized linear model, GLM)是简单最小二乘回归（OLS)的扩展,在广义线性模式中，假设每个变量的观测值 Y来自某个指数族分布。 该分布的平均数μ\mu可由与该点独立的X解释： E(y)=μ=g(θTx)
2017-02-26 12:42:37
1514
原创 指数分布族
指数分布族指数分布族是指可以表示为指数分布的概率分布。指数分布形式如下： P(y;η)=b(y)exp(ηTT(y)−α(η))P(y;η)=b(y)exp(ηTT(y)−α(η))P(y;\eta)=b(y)exp(\eta^{T}T(y)-\alpha(\eta)) 其中，ηη\eta成为分布的自然参数；T(y)是充分统计量，通常T(y)=yT(y)=yT(y)=y。当a、b、T参数都...
2017-02-26 10:28:12
8464
1
转载 [转载]决策树模型组合之随机森林与GBDT
决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。
2017-02-26 09:50:56
302
原创 用Tensorflow拟合线性函数
TensorFlow是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。下面用python实现一个简单的线性函数：y=0.2∗x+0.3y
2017-02-25 00:00:58
1579
原创 期望、方差、协方差及相关系数的基本运算
期望、方差、协方差及相关系数的基本运算总结了概率统计中期望、方差、协方差和相关系数的定义、性质和基本运算规则。
2017-02-21 14:18:56
53892
4
转载 方差-偏置分析
机器学习的目标是学得一个泛化能力比较好的模型。所谓泛化能力，是指根据训练数据训练出来的模型在新的数据上的性能。这就牵扯到机器学习中两个非常重要的概念：欠拟合和过拟合。如果一个模型在训练数据上表现非常好，但是在新数据集上性能很差，就是过拟合，反之，如果在训练数据集和新数据集上表现都很差，就是欠拟合
2017-02-21 10:45:43
977
转载 Python字符串处理
python中有些常用的字符串处理函数 特别是用python处理自然语言时，字符串处理用的十分频繁。下面总结一下常用的字符串处理的相关函数： Python 字符串操作（string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换）一、去空格及特殊符号s.strip().lstrip().rstrip(',')二、复制字符串# strcpy(sStr1,sStr2)sStr1 = 's
2016-11-26 13:34:55
423
原创 统计学习的三板斧
二十世纪九十年代中期，统计学习(Statistic Learning)的出现迅速占领了机器学习的舞台。其中代表的是支撑向量机以及更一般的核方法。 其中Vapink大牛提出的统计学习理论为统计学打下坚实的理论基础。李航老师提出的统计学系三要素即：模型+策略+算法。构建模型监督学习过程中，模型就是所要学习的条件概率分布或决策函数。魔性的假设空间包括所有可能的条件概率分布或决策函数。 这里假设决策函数
2016-11-25 02:50:20
611
原创 概率与数理统计的发展前景
据说很多数学系的同学觉得统计和概率论登不了数学宫殿的大雅之堂，遂轻视之。可是大数据时代，数据挖掘、机器学习、数据分析等新的知识领域不断开辟，而这一切都是离不开概率统计的发展，概率论与数理统计的发展极大影响了我们的生活，甚至可以说对于人工智能和机器学习方面的研究有奠基之功。我国大学本科开设的概率统计课程主要包括概率论、数理统计、测度论、应用回归分析、应用多元统计分析、应用时间序列分析、抽样调查、非参数
2016-11-22 02:35:35
2889
原创 共轭先验-Conjugate Prior
定义：如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称先验分布与似然函数是共轭的。读数理统计学导论时，遇到过共轭先验的概念。 贝叶斯判别准则中，分别假设了先验分布p(θ)p(\theta)，后验分布p(θ|X)p(\theta|X)，以及p(X),p(X|θ)p(X), p(X|\theta)似然函数。贝叶斯定理可以写作：P(θ|X)=P(θ)P(X|θ)P(X)P(\the
2016-11-22 02:14:13
1824
原创 这就开始回忆了
这就开始回忆了昨天偶然翻阅起大学两年半以来所记过的笔记，大概有七八本吧。翻完后，颇有感触，一方面看到自己青涩的蜕变，庆幸两年多来也算是学了点东西，另一方面可能由于时间关系，一些当时学习的感悟没有被记录而随时间流逝了。我感觉很大程度上和我对自己目前的知识技能树缺乏系统总结有很大关系。因此，决定接下来一到两个月把自己学过的一些知识，整理整理。
2016-11-19 20:21:05
274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人