Dive into ML/DL
文章平均质量分 94
dive into typical algorithms on machine learning and deep learning, especially the application in the area of computational personality.
相国大人
社交网络,社会计算,机器学习
展开
-
Catalogue/update in 2018.09.10
Welcome! Name: Xiangguo Sun E-mail: sunxiangguodut@qq.com Welcome to my blog column: ...原创 2017-09-08 10:18:19 · 1550 阅读 · 0 评论 -
keras深度训练1:fit和callback
1. model.fit2. callback2.1 ModelCheckpoint2.2 EarlyStopping2.3 LearningRateSchedule2.4 记录每一次epoch的训练/验证损失/准确度?2.5 TensorBoard2.5 多个回调函数用逗号隔开1. model.fitmodel.fit( s...原创 2018-04-02 20:04:33 · 13768 阅读 · 4 评论 -
keras深度训练2:训练分析
3. 常见问题3.1 val_loss曲线或val_acc曲线震荡不平滑原因可能如下: 学习率可能太大 batch size太小 样本分布不均匀 缺少加入正则化 数据规模较小 3.2 val_acc几乎为0一种很重要的原因是数据split的时候没有shuffleimport numpy as npindex = np.ara...原创 2018-04-09 11:57:48 · 2329 阅读 · 0 评论 -
keras深度训练3:服务器连接
连接实验室服务器使用步骤第1步:链接服务器XiangguoSuns-MacBook-Pro:~ xiangguosun$ ssh 实验室IP地址wow@223.3.89.104's password: 服务器密码Welcome to Ubuntu 17.10 (GNU/Linux 4.13.0-36-generic x86_64) * Documentation: htt...原创 2018-04-10 10:36:37 · 766 阅读 · 0 评论 -
keras深度训练4:GPU设置
4.1 keras指定运行时显卡及限制GPU用量https://blog.csdn.net/A632189007/article/details/77978058#!/usr/bin/env python# encoding: utf-8"""@version: python3.6@author: Xiangguo Sun@contact: sunxiangguo@seu....原创 2018-04-12 10:56:30 · 44643 阅读 · 6 评论 -
keras深度训练5: 断点训练
关于过拟合 https://blog.csdn.net/mrgiovanni/article/details/52167016从断点处开始训练https://machinelearningmastery.com/check-point-deep-learning-models-keras/Keras 模型的保存与加载 http://yangguang2009.github.io/2...原创 2018-04-12 10:57:07 · 4924 阅读 · 0 评论 -
Beta分布,二项分布,Dirichlet分布,多项式分布新解
完全原创,无半点抄袭beta分布与二项分布共轭先验beta分布与Dirichlet分布Dirichlet分布与多项式分布原创 2017-11-04 08:32:21 · 2452 阅读 · 1 评论 -
training deep learning model
page11-20 page21-30 page31-40 page41-50 page51-60 page61-70原创 2017-10-30 08:43:13 · 823 阅读 · 0 评论 -
概率图模型系列(更新至2017.11.15)
目录概率图模型1:隐马尔科夫(1) 摘要:概率图模型2:隐马尔科夫(2) 摘要:概率图模型3:隐马尔科夫(3) 摘要:概率图模型4:贝叶斯网络 摘要:概率图模型5:无向图入门 摘要:概率图模型6:条件随机场(1) 摘要:概率图模型7:推理与流动 摘要: 推理模式(causal/evidential/ intercausal reasoning);概率影响的流动,有效迹;原创 2017-06-12 11:16:05 · 2627 阅读 · 0 评论 -
卷积神经网络CNN理论到实践
系列博文目录(实时更新)卷积神经网络CNN理论到实践(1) 摘要: 首先介绍卷积的概念,然后我们解释在神经网络中使用卷积的原因:sparse interactions,parameter sharing和equivariant representations. 卷积神经网络CNN理论到实践(2) 摘要: 首先介绍池化的概念,其中我们还会探讨池化的作用(平移不变,减轻网络负担,处理变长输入)。原创 2017-06-12 11:32:33 · 1891 阅读 · 0 评论 -
推荐系统概述
作者:孙相国 contact:sunxiangguodut@qq.com目录推荐系统概述 http://blog.csdn.net/github_36326955/article/details/70821196原创 2017-09-08 10:12:15 · 657 阅读 · 0 评论 -
python:从数据结构到高级算法(更新至2017.09.08)
1. 主要参考文献:《算法导论》 《算法设计基础》沈孝钧 《C++数据结构》 《算法python》 Timus本系列博文的所有算法代码实现全部为python。再次基础上,有些题目会额外增加C++、java。2. 已经写完的肉(实时更新)高级算法日记1:摸底课高级算法日记2:第1次课笔记高级算法日记3:python数据结构之栈和队列高级算法日记4:查找与排序高级算法日记5:二叉树高原创 2017-05-22 09:31:20 · 1448 阅读 · 0 评论 -
python 中文文本分类
写这篇博文用了很多时间和精力,如果这篇博文对你有帮助,希望您可以打赏给博主相国大人。哪怕只捐1毛钱,也是一种心意。通过这样的方式,也可以培养整个行业的知识产权意识。我可以和您建立更多的联系,并且在相关领域提供给您更多的资料和技术支持。赏金将用于拉萨儿童图书公益募捐手机扫一扫,即可:目标读者:初级入门学生。本文假定,你对python已经有了最基本的掌握。如果你希望能够原创 2017-02-06 11:31:21 · 105985 阅读 · 205 评论 -
logistic回归
主要内容: 深入浅出Logistic回归 一些实验和实战1,logistic“回归”本节主要内容为:线性判别模型与感知机,广义线性模型,训练算法,python实现。 下面这个是一个感知机的示意图,也可以看成是一个分类器示意图。 图1.1 SUM模块将输入数据按照各个维度进行加权求和,得到的结果送入ff模块。 SUM模块可以写成:y=ωTx+by=\omega^Tx+b,为了后面的处理更加原创 2017-03-05 08:43:57 · 811 阅读 · 0 评论 -
用scikit-learn学习K-Means聚类
转载自:刘建平http://www.cnblogs.com/pinard/p/6169370.html 在K-Means聚类算法原理中,我们对K-Means的原理做了总结,本文我们就来讨论用scikit-learn来学习K-Means聚类。重点讲述如何选择合适的k值。1. K-Means类概述 在scikit-learn中,包括两个K-Means的算法,一转载 2017-02-12 10:08:17 · 12015 阅读 · 0 评论 -
感知机实现Python
《统计学习方法》第二章python实现:1 感知机原型的python实现1.1 损失函数:L(ω,b)=−∑xi∈Myi(ω⋅xi+b)L \left( \omega ,b \right)=- \sum_{x_i \in M}y_i\left( \omega \cdot x_i +b\right) 其中MM为误分类点的集合。1.2 原始学习算法——非对偶例2.1(采用随机梯度下降)#!/usr/原创 2017-03-04 09:13:48 · 775 阅读 · 0 评论 -
高级算法日记10:图(3)
最小生成树树图/连通图/连通分量强联通图/强联通分量支撑子图/支撑树/最小支撑树为什么要研究最小支撑树通用贪心算法kruskal算法Prim算法割/交叉边/最小交叉边/割与图的交集/尊重安全边kruskal和prim算法的本质三种割(割权值最小边/割邻居/瞎割)kruskal与prim代码实现与复杂度分析最宽路径问题最短路径的基本概念(源点可达负回路,简单路径,松弛操作)一些练习题原创 2017-09-08 11:18:20 · 528 阅读 · 0 评论 -
高级算法日记2:第1次课笔记
第一次课笔记lecture:沈孝钧record:孙相国 time: 2017/05/06排序算法比较Divide and Conquer1 Principle of Divide and Conquer2 ExamplesExample 1 Binary SearchExample 2 Find max and min摸底作业题第23题dominating number复杂度分析;分原创 2017-06-05 15:37:52 · 863 阅读 · 0 评论 -
高级算法日记5:二叉树
二叉树与分治作者:孙相国邮箱:sunxiangguodut@qq.com目录二叉树与分治作者孙相国二叉树很重要1 考纲分析2 知识地位3 实际应用树的基本概念与性质1 树的定义2 树的逻辑表示方法树形表示法凹入表示法广义表表示法嵌套表示法3 树的基本术语节点的度与树的度分支节点叶子节点孩子节点双亲节点兄弟节点有序树和无序树有根树和无根树满m次树完全m次树路径与路原创 2017-08-25 16:42:06 · 1412 阅读 · 0 评论 -
高级算法日记3:python数据结构之栈和队列
废话1 list2 strings栈1 栈的数据结构2 栈的应用21括号顺序检测22 前中后缀表达式3 求解迷宫问题栈方法队列1 队列的数据结构原创 2017-05-25 11:49:42 · 910 阅读 · 0 评论 -
高级算法日记4:查找与排序
作者:孙相国E-mail: sunxiangguodut@qq.com版权所有,严禁转载查找1 顺序查找2 折半查找3 分块查找4 二叉排序树41二叉排序树BST42二叉排序树的性质43 二叉排序树的查找44 二叉排序树的插入45 二叉排序树的删除5 平衡二叉树6 B树7 哈希表查找排序0 排序前传1 直接插入2 折半插入3 希尔排序4 简单选择排序5 堆排序原创 2017-08-25 15:53:14 · 794 阅读 · 0 评论 -
高级算法日记6:表栈队列
表栈队列作者:相国大人联系:sunxiangguodut@qq.com版权所有,禁止转载表栈队列一 正常授课内容表501 线性表52 顺序表的算法103 单链表的算法304 双链表的算法55 循环链表栈201 栈的基本概念2 顺序栈3 链栈4 习题测试队列151 队列基本术语2 顺序队列3 链式队列4 习题测试数组和矩阵151 数组和矩阵2 习题测试数据结构原创 2017-08-31 09:15:33 · 2409 阅读 · 0 评论 -
高级算法日记8:图(1)
图的表示:邻接矩阵,邻接表,关联矩阵图的基本术语求生成树的个数图的周游:深度优先遍历和宽度优先遍历无向图二着色问题区间定理白路径定理前向边,后向边,交叉边拓扑排序如何快速求强连通分量一些练习题原创 2017-09-08 10:30:13 · 582 阅读 · 0 评论 -
高级算法日记7:专题
专题作者:相国大人联系:sunxiangguodut@qq.com版权所有,禁止转载专题专题一时间复杂度分析1 普通复杂度函数的增长2 递归与分治的复杂度主定理专题二求解迷宫问题专题三分治法深入1 二元搜索问题2 both max and min3 dominating numbers4 max sum two专题四线性规划专题五贪心算法专题六中位数和顺序统计量专题七散列表原创 2017-08-31 09:17:39 · 464 阅读 · 0 评论 -
高级算法日记9:图(2)
最小生成树树图/连通图/连通分量强联通图/强联通分量支撑子图/支撑树/最小支撑树为什么要研究最小支撑树通用贪心算法kruskal算法Prim算法割/交叉边/最小交叉边/割与图的交集/尊重安全边kruskal和prim算法的本质三种割(割权值最小边/割邻居/瞎割)kruskal与prim代码实现与复杂度分析最宽路径问题最短路径的基本概念(源点可达负回路,简单路径,松弛操作)一些练习题原创 2017-09-08 11:06:36 · 648 阅读 · 0 评论 -
高级算法日记1:摸底课
第一次上课之前,沈教授留了一次摸底作业。下面对这次作业做一个总结。 习题的解答整合了:我自己的作业,其他同学更好的作业以及沈教授的讲解。 Dear all, our lecturer has assigned the first homework for background knowledge assessment, all of you are asked to download the原创 2017-05-25 10:52:35 · 878 阅读 · 0 评论 -
高级算法日记12:图(5)
最小生成树树图/连通图/连通分量强联通图/强联通分量支撑子图/支撑树/最小支撑树为什么要研究最小支撑树通用贪心算法kruskal算法Prim算法割/交叉边/最小交叉边/割与图的交集/尊重安全边kruskal和prim算法的本质三种割(割权值最小边/割邻居/瞎割)kruskal与prim代码实现与复杂度分析最宽路径问题最短路径的基本概念(源点可达负回路,简单路径,松弛操作)原创 2017-09-08 11:31:21 · 768 阅读 · 1 评论 -
K-Means聚类算法原理
转载自:刘建平:http://www.cnblogs.com/pinard/p/6164214.htmlK-Means算法是无监督的聚类算法,它实现起来比较简单,聚类效果也不错,因此应用很广泛。K-Means算法有大量的变体,本文就从最传统的K-Means算法讲起,在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-M原创 2017-02-12 10:06:46 · 21822 阅读 · 3 评论 -
深入浅出EM算法
概率论基础你没见过的概率1约定2链式法则3贝叶斯定理4独立性5条件独立6随机变量独立性性质61对称62分解63弱联合64收缩65相交琴声不等式坐标上升方坐标下降法EM算法导出1 从最大似然估计MLE说起2 我们遇到了什么问题3 EM算法的导出4 最后一点小尾巴5 EM算法收敛性证明EM算法与高斯混合模型学习网友问题解答推荐资料原创 2017-02-14 13:45:55 · 6260 阅读 · 9 评论 -
关于奇异值以及奇异值分解SVD的思考
前言: SVD作为一个很基本的算法,在很多机器学习算法中都有它的身影,特别是在现在的大数据时代,由于SVD可以实现并行化,因此更是大展身手。SVD的原理不难,只要有基本的线性代数知识就可以理解,实现也很简单因此值得仔细的研究。当然,SVD的缺点是分解出的矩阵解释性往往不强,有点黑盒子的味道,不过这不影响它的使用1,SVD的数学基础1.1为什么要做SVD分解?回顾特征值和特征向量 我们首先回原创 2017-02-13 18:33:09 · 10792 阅读 · 0 评论 -
卷积神经网络CNN理论到实践(1)
作者:相国大人导读卷积在神经网络中使用卷积的原因1 sparse interactions2 parameter sharing3 equivariant representations1. 导读卷积神经网络CNN常用于处理具有栅格拓扑特征的数据。时间序列数据可以看做是在固定时间间隔采样的一维网格数据;图像可以看做是由像素组成的一个二维网格。在实际应用中,具有很好的效果。也是进入深度学习领原创 2017-05-31 13:56:13 · 17453 阅读 · 3 评论 -
卷积神经网络CNN理论到实践(2)
1. 导读在上一篇博文《卷积神经网络CNN理论到实践(1)》中,我们首先介绍卷积的概念,然后解释在神经网络中使用卷积的原因:sparse interactions,parameter sharing和equivariant representations.接下来,我们将要介绍的内容是: 1. 池化 2. 一些在神经网络中常用的卷积函数 3. 如何在数据集上使用不同维度的卷积 4. 使得原创 2017-05-31 18:24:30 · 6576 阅读 · 0 评论 -
卷积神经网络CNN理论到实践(3)
导读各种类型的卷积神经网络1 convolution in neural network2 zero padding3 unshared convolution4 tiled convolution总结写这篇博文用了很多时间和精力,如果这篇博文对你有帮助,希望您可以打赏给博主相国大人。哪怕只捐1毛钱,也是一种心意。通过这样的方式,也可以培养整个行业的知识产权意识。我可以和您建立更多的联系原创 2017-06-01 11:13:51 · 7367 阅读 · 2 评论 -
卷积神经网络CNN理论到实践(4)
在本篇博文中,我们将详细探讨卷积与矩阵乘法的关系。在此基础上,我们会介绍反卷积操作。原创 2017-06-01 20:53:32 · 6177 阅读 · 1 评论 -
卷积神经网络CNN理论到实践(5)
还没写完。。。 [TOC]1. 导读前面我们用了4篇博文,详细介绍了CNN的基本理论。从这一篇开始,我们将逐渐走向实战。在本篇博文中,我们首先下来介绍一下,最经典的CNN网络,LeNet5。可以说,它是很多现代CNN的雏形。即便是现在,使用这个模型也可以处理一大批基本问题。我们会先从原理上,做一个介绍,然后使用python进行编程实现。如果有精力,再用它做个试验。2. LeNet53. 一个简单C原创 2017-06-02 15:33:21 · 2127 阅读 · 1 评论 -
卷积神经网络CNN理论到实践(6)
1.导读本节我们的目标是,在上一篇博文的基础上,我们再来实现几个复杂一点的CNN模型。为下一篇CNN做文本分类打下基础。2.例子1:inception模型inception模型来自谷歌的一篇论文Going Deeper with Convolutions.具体来讲,这里的卷积网络模型可以用下面的图表示: #!/usr/bin/env python# encoding: utf-8"""@ver原创 2017-06-07 09:46:09 · 1627 阅读 · 0 评论 -
卷积神经网络CNN理论到实践(7)
1. 导读本节博文,我们将使用CNN来做文本分类。这篇博文暂时不会有实际的代码,我们先从理论上对NLP-CNN做一个介绍,并梳理和总结相关文献。实践工作留待下一篇博文介绍。 本篇博文的主要参考文献为: http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/2.NLP-CNN基本原创 2017-06-07 09:55:47 · 2326 阅读 · 0 评论 -
卷积神经网络CNN理论到实践(8)
1.导读实践2.原创 2017-06-07 12:55:16 · 1071 阅读 · 3 评论 -
概率图模型1:隐马尔科夫(1)
概率图模型与词性标注作者:孙相国转载请注明出处参考文献《机器学习郑捷》第11章机器学习周志华 14章《统计学系方法》第10章《概率图模型》第3章贝叶斯网表示和马尔科夫《驾驭文本》隐马尔科夫模型两个基本假设:齐次马尔科夫性假设:隐藏的马尔科夫链在任意时刻tt的状态只依赖于前一时刻的状态,与其他时刻的状态及观测无关,也与时刻tt无关。观测独立性假设:任意时刻的观测只依赖于该时刻的马尔科夫原创 2017-03-14 22:35:05 · 1781 阅读 · 0 评论 -
概率图模型2:隐马尔科夫(2)
上一节我们介绍了隐马尔科夫的概率计算问题,本节,我们介绍一下隐马尔科夫的学习问题。在介绍学习问题之前,先让我们用python来实现几个重要概念。#!/usr/bin/env python# -*- coding: UTF-8 -*-"""@author: XiangguoSun@contact: sunxiangguodut@qq.com@file: HMM.py@time: 2017/原创 2017-03-27 12:48:01 · 743 阅读 · 0 评论