- 博客(88)
- 收藏
- 关注
RSS订阅原创 tensorflow---入门基础知识
0. 参考文章 1. MNIST机器学习入门2. 基本使用3. 张量的阶、形状、数据类型 4. 深入MNIST5. TensorFlow运作方式入门 6. tensorboard官方参考文档7. tensorflow机器学习模型上线1. 基础篇(概念和卷积经典函数api)tensorflow运行op的最最基础概念 :在TensorFlow中，所有的操作只有当你执行(run)，或者另一个操作依赖于它的输出时才会运行(这里可以参考这些文章) 1. MNIST机器学习入门2. 基本使用3
2020-10-06 19:03:02
288
原创 统计学习之五-------决策树之分类树(ID3,C4.5)
0. 前沿本文想简单去概括一下决策树的大致内容,具体细节详见后面文章1. 决策树模型1.1 概括ID3,C4.5决策树主要用于分类,注意,这两个树不是二叉树,只是下面图这样举例子而已我们先看它长什么样子,如下图:数据(x,y),其中数据x特征维度为2(上进心,有房子),y有三类(goodbye,备胎,考虑)上图中的就是决策树的模型(我们最终也是要根据数据,构造出一个树结构,这就是它的模型),其中方框(非叶子节点)表示特征,圆框(叶子节点)表示类别,从父节点到孩子节点的选择过程属于特
2020-10-06 14:19:00
576
转载 图模型一之贝叶斯网络(初版本)
0. 概率 ~~~~~ 在模式识别领域的⼀个关键概念是不确定性的概念。它可以由测量的误差引起，也可以由数据集的有限⼤⼩引起。概率论提供了⼀个合理的框架，⽤来对不确定性进⾏量化和计算。 ~~~~~ 在概率图模型中，每个结点表⽰⼀个随机变量（或⼀组随机变量），链接表⽰这些变量之间
2020-10-06 10:19:17
1694
1
原创 统计学习方法四----朴素贝叶斯分类器
0. 概率 ~~~~~ 在模式识别领域的⼀个关键概念是不确定性的概念。它可以由测量的误差引起，也可以由数据集的有限⼤⼩引起。概率论提供了⼀个合理的框架，⽤来对不确定性进⾏量化和计算。 ~~~~~ 在概率图模型中，每个结点表⽰⼀个随机变量（或⼀组随机变量），链接表⽰这些变量之间
2020-10-05 16:55:23
150
原创 统计学习基础三----KNN
0. 导论本文简单介绍梳理一下KNN理论知识.本文的重点其实是kd tree的构建和查找算法,但是算法最好的学习方法是coding出来,因此本文最后给出参考资料.KNN是一种思想很简单的分类算法.它不算一个标准的统计模型,更像是一个纯粹基于数据的算法,它没有类似于感知机那种优化迭代的学习超参数过程.1. “模型”其实没有严格的模型说法,按照它的过程来说: 就是你有一堆(xi,y)的训练数据,一个新的x需要分类,对于KNN来说就是寻找x在这一堆数据中最近的k个点,然后统计这k个点中y的类别个数,
2020-10-05 14:21:37
169
原创 统计机器学习-------第二章 感知机
0. 介绍本章不从神经网络单元的角度考虑,单纯的把它抽象出来,看作一个简单的二分类线性模型.感知机是神经网络和支持向量机的基础.1. 感知机模型 ~~~~ 感知机模型是一个线性二分类模型,学习的目的是寻找一个可以将实例划分为正负两类的超平面,其模型如下:作用: 输入数据的特征向量 x,输出数据的类别(-1,+1),很明显这是一个判别模型. f(x)=sign(w⋅x+b)\
2020-10-04 13:42:57
239
原创 NLP基础编程------中文编码
1. 扩展ASCII原有ASCII 表示128位,最高位不用使用第一位后,扩展到256,但是对于中文还是不够2. 汉字机内码机内码: 计算机系统中:存储,处理,传输汉字时使用的统一编码形式汉字有多少个?汉字标准共有 6763 个, 其中一级 3755, 二级 3008, 还有 682 非汉字字符。ASCII一个字节表示字母(但是只用七位,最高为为0),但是汉字太多,需要两个字节为了和ASCII区分,汉字机内码最高为用1.那余下的2*7位怎么与汉字对应???3.
2020-10-03 20:22:31
1171
原创 [1]统计学习方法---概论
1. 统计学习三要素模型所要学习的条件分布概率或者决策函数.决策按照什么样的方法学习或者选择最优的模型(即,选择参数空间内最优的一组参数)算法学习模型(参数)的具体计算方法.2. 避免过拟和的方法正则化 Y = 损失函数 + 正则化项. 过拟和产生原因是因为模型学习训练数据过度,甚至学习到了噪声点. 正则化目的在于减少模型复杂度,做法是将模型的参数的某种范式+损失函数共同作为最后的经验损失.
2020-10-03 14:01:17
118
原创 nvidia-smi CUDA处显示 ERR!
序记一个小报错,方便他人和自己自己在docker上碰到的一个报错,最后原因: nvidia驱动和cuda版本不匹配ps: 我确定我有CUDA并且正常…我直接pull下来的好吧报错CUDA版本为 9.0正常自己为了验证想法换了一个镜像,果然成功!...
2019-12-03 20:57:41
4079
1
原创 一个简单的堆的小例子
序python有一个 专门的heap文件, import heap就可以了.目的: 这里只是一个单纯的形成堆的例子,给一个list,将list堆化思路简爱说一代码的思路,代码参考B站( https://www.bilibili.com/video/av47196993?from=search&seid=17395044821033317472 )首先堆是一个完全二叉树...
2019-12-03 19:57:51
306
原创 DRQA-简单的思路整理
序言前段时间看了cdqa,所以自己顺手也把这个给看了看,没有细看,只是大致浏览了下源码由于cdqa是继承drqa的关系,所以两者框架思路很很多trick都是通的.简介官方githubhttps://github.com/facebookresearch/DrQA/#machine-reading-at-scale项目对应论文( 竟然是陈丹琪的一作…)https://arx...
2019-12-03 19:17:00
1824
原创 ubuntu 16.04 + GTX1050安装nvidia驱动
0 序由于某些原因,配好的nvidia驱动崩了,崩了的大致情况如下:nvidia-smi没有了nvidia-setting显示none重装吧.但是重装过程中碰到了很多小bug,快疯了,这里都记录一下.1. 最最前面每一条命令别傻傻的复制粘贴,要想清楚(我因为复制粘贴最近两天跳了无数的坑…不只是这个驱动安装)安装失败别害怕,删了重来,我就装了十几次,找了很多博客才装好.2. ...
2019-12-01 13:30:50
1595
原创 ImportError: libnvidia-fatbinaryloader.so.384.111: cannot open shared object file: No such file or d
开篇sudo vim ~/.bashrcexport LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64KaTeX parse error: Expected '}', got 'EOF' at end of input: …LIBRARY_PATH:+:{LD_LIBRARY_PATH}}:/usr/lib/nvidia-410/ (根据自己情况匹配)...
2019-11-30 20:17:56
326
原创 【Tools】ubuntu16.04 your screen ,graphics card,and input device setting could not be detected correct
原文:https://blog.csdn.net/u014647208/article/details/82894324#commentBox报错个人ubuntu开机时有这个报错,没有管,进入系统发现又有一个xorg的报错,自己感觉不正常就处理了一下,办法见下:方法:步骤1：重启虚拟机，按ctrl + alt + F1进入纯字符界面，输入账号和密码步骤2：1 ：cd /etc/X...
2019-11-30 16:37:06
668
原创 CDQA-简介与资料
序算是自己看得机器阅读理解的第一个小项目,断断续续看完了,还是有点收获的,所以把自己学的时候的一些资料放上来,其实github上都有,自己只是总结下.CDQA: closed-domain QA,闭域的QA系统.项目官方资料项目github官方：https://github.com/cdqa-suite/cdQACDQA——suithttps://github.com/c...
2019-11-27 22:01:08
811
原创 CQDA中针对bert的数据读取与处理
序其实本质上是对squad数据针对bert的变形处理，本文不深究细节，过于琐碎，相信会调用bert的人也不会被一个数据读入难住，这里是想形象的展示记录一下cqda里面数据处理的流程。小知识skearn 自定义转换器 [TransformerMixin, BaseEstimator, fit_transform, fit, transform]如果使用TransformerMix...
2019-11-26 21:43:14
536
原创 CDQA——BM25算法
序自己在看这个开源代码中看到了这个相似性算法和一些工程中的技巧，感觉很不错，算是多了点儿见识，以前还从没有用过稀疏矩阵这个存储结构，这里就写一个文档简单记录一下python小知识Python中关于eval函数与ast.literal_eval使用的区别介绍（图文）https://www.php.cn/python-tutorials-376459.htmlnumpy的广播机制（具体...
2019-11-25 16:25:36
467
原创 混合精度训练——资料+简单说明
序最近看CDQA这个开源库的时候看到了混合精度训练这种写法，所以简单去了解了下，结果得出了一个很悲催的结论：我的小破笔记本的显卡不支持混合精度训练…？？！自己不研究这个，找到一些很不错的资料，自己看完后这里就奉送上！Tensor Core-----------------------------大神自取-----------------------------2. 想读读PyTor...
2019-11-23 16:51:38
513
原创 pip 更新报错
序连着两次碰到pip更新后报错的问题，关于mian的，这里找到一种解决办法：更新pip (注意，单纯8.多的版本无法直接用下面命令删除pip)python -m pip install --upgrade pip删除pippython -m pip uninstall pip更新到19.curl https://bootstrap.pypa.io/get-pip.py...
2019-11-18 19:43:19
288
原创 python小知识——多线程加速
python中调用多线程加速处理文件出处：个人以后可能会用到的代码加速解释最开始有一个疑惑，因为：廖雪峰这篇文章里说：Python的线程虽然是真正的线程，但解释器执行代码时，有一个GIL锁：Global Interpreter Lock，任何Python线程执行前，必须先获得GIL锁，然后，每执行100条字节码，解释器就自动释放GIL锁，让别的线程有机会执行。这个GIL全局锁实际上把...
2019-11-18 10:00:57
513
原创 机器阅读理解文章推荐2—— 《Neural machine reading comprehesion:methods and threds》
序这是一篇综述类论文，由于机器阅读理解领域也算是现在深度学习流行领域的分支，市面上不会有像深度学习入门级别的教程那样那么多的资料，甚至找本好的书都难，个人只能考读论文和一些博客学习。看了一系列论文后，觉得自己需要连贯起来，对这个领域大致有一些了解，正好看到了这篇综述类论文，感觉还可以。读后感既然是综述论文，基本就是总结前人工作，所以很多东西自己都看过。论文对于整体的概括做的不错，很...
2019-11-16 14:37:19
186
原创 高斯混合模型资料
序这部分内容自己写也是搬运别人的，而且看完感觉不算难，这里就放上资料了。阅读顺序见下：[ 1 ] 多维高斯分布[ 2 ] EM及高斯混合模型[ 3 ] 代码代码基本和[2]推出的结论一样，理清出维度变换就好了。补充资料：自己本来是先看的下面的内容，但是不少细节没看懂，果然纯粹的理论我还是差火候，只能靠上面那三个捞了我一手。白板推导系列（十一）-高斯混合模型GM...
2019-10-29 21:20:38
117
原创 《A Through Examination of the CNN_Daily Mail Reading Comprehension Task》——Stanford Attentive Reader
序论文其他细节不再注意，只关注它的网络结构。可能是年代比较久远，github上只有一个这篇论文的代码…还是python2.7的模型结构模型分三部分：第一部分，编码：问题的词编码一样，先通过一个embedding表，把词编程embedding，然后过双向GRU，前向和后向连在一起表示这个token出的表示，同样对问题也编码，只说了问题编码后的维度：h,估计和其他论文一样，都是前向后...
2019-10-29 18:13:57
315
原创 《 Text Understanding with the Attention Sum Reader Network 》——Attention Sum Reader
序作为清华推荐的阅读理解论文的一篇，同时在张俊林大佬的博客里也看到了他的身影，觉得有必要看波论文，学习一下。(Attention Sum Reader)AS Reader可以看作是一维匹配结构的典型示例。这是一篇IBM 的几位大佬在2016年发表的论文（比较久远了）摘要We present a new, simple model that uses attention to dir...
2019-10-28 19:05:56
195
原创 机器阅读理解推荐博客文章
文章深度学习解决机器阅读理解任务的研究进展 author: 张俊林一直在关注的一位大佬，最开始准备入阅读理解的时候就找到了这篇文章，但是由于没有这方面的背景知识，看起来很难受，在看了三篇相关的论文后，重新回头看，收获颇多。总结看完才知道,memor network原来可以从推理的角度看结构，精彩，而且意识到了推理在阅读理解中的重要性。Stanford AR的匹配函数则采用了双线性...
2019-10-28 16:10:50
157
原创 Teaching Machines to Read and Comprehend
序看博客都说《Teaching Machines to Read and Comprehend》是机器阅读理解的开山作，今天就来好好理一波。网上没有找到对应tensorflow的代码，只有一版theno的，此处就只从论文角度思考了。数据DeepMind Q&A Dataset CNN/Daily Mail处理好的数据下载连接对应数据下载处理的github代码：...
2019-10-27 15:46:54
346
原创 End-To-End Memory Networks
序本文简单记录一些自己读论文时看到的有趣的点，其他通俗的东西就不详细写了。《Memory Networks》是这一系列的开山之做，本文的提出是就在于 “End-to-End”，简单来说就是可以直接用反向传播优化算法训练了，就是文中提到的一个词：模式是连续的。特点： 外部记忆，end-to-end个人也找了个代码看了看：链接 ,当然代码github上很多，而且很有可能代码复现和论文说的细节...
2019-10-26 14:12:38
576
原创 leetcode——解码方法
// 爬楼梯问题int numDecodings(char * s){ if(s[0] == '0' || s[0] == 0 ) return 0; int pre = 1,cur = 1; int temp; int i; for( i = 1; s[i] != 0; i++){ te...
2019-10-13 21:59:21
118
原创 leetcode——64. 最小路径和
int minPathSum(int** grid, int gridSize, int* gridColSize){ int m = gridSize; int n = *gridColSize; int dp[m][n]; int i,j; dp[0][0] = grid[0][0]; for( i = 1; i &l...
2019-10-13 16:54:24
251
原创 leetcode——62不同路径
递归int uniquePaths(int m, int n){ int move(int x, int y, int m, int n){ int n1 = 0; int n2 = 0; if( x == m && y == n){ return 1; ...
2019-10-13 16:24:10
81
原创 leetcode——(8)最长回文字串
序c语言写的我简直…所以换了python，代码直接是参考的代码。代码class Solution(object): def longestPalindrome(self, s): size = len(s) if size <= 1: return s # 二维 dp 问题 # 状态：d...
2019-10-10 22:19:58
111
原创 leetcode——(4)打家劫舍
代码思路是对的，但是代码好丑…int rob(int* nums, int numsSize){ int now_max; int prior; int medium; int i; if(numsSize == 0){ return 0; } for( i = 0; i...
2019-10-10 14:05:38
161
原创 leetcode——(2)爬楼梯
暴力解法int climbStairs(int n){ int solution = 0; // 递归函数,返回值表示个数 int climb(int i,int n){ if(i > n){ return 0; } if( i...
2019-10-08 23:21:28
143
原创 leetcode——(3)买卖股票最佳时机
代码参考： 官方解析int maxProfit(int* prices, int pricesSize){ int min = 0; int maxpro = 0; int i; for( i = 0; i < pricesSize; i++){ if(i == 0){ min = pric...
2019-10-08 23:20:57
141
原创 tensorflow(2)——TFrecord填坑
填坑前文的坑让我蒙了近一个小时，然后出去接了杯水…原代码 dics = { 'data': tf.FixedLenFeature(shape=[100], dtype=tf.float32, default_value=0.0), 'label': tf.FixedLenFeature(shape=[2], dtype=tf.float32) ...
2019-10-05 21:29:21
329
原创 tensorflow(2)——读取数据TFrecord
序学习这个是因为搞tensorflow肯定跳不过这个坑，所以还不如静下心来好好梳理一下。本文学完理论会优化自己以前的一个分类代码，从原来最古老的placeholder版本做一下优化——启发是来自transformer的源码，它的做法让我觉得我有必要体会一下。TFrecord注意，这里他只是一种文件存储格式的改变，前文那些队列的思想是没变的！！！简单介绍TFRecords其实...
2019-10-05 17:45:00
1105
原创 tensorflow进阶——（1）读取数据的背景知识
序该博客为《深度学习工具 TensorFlow入门》视频笔记课程目录可简单参考 深度学习工具 TensorFlow入门本课程的第一小节：一些基础知识的概述，最重要的是介绍了这门课的目的：将tensorflow的平台应用到各个平台上。我个人直接跳过前面的基础知识（像CNN）这些的章节第七小节： Save and Load your model...
2019-10-05 16:17:59
231
原创 Leetcode——53. 最大子序和
个人代码思路解写作为动态规划入门的第一题，个人认为这个道题最本质要想明白两个东西：动态规划每一步记住的信息是什么？动态规划的转移方程是什么？代码int maxSubArray(int* nums, int numsSize){ int memory[numsSize]; int max; for( int i = 0 ; ...
2019-10-05 10:27:45
86
原创 Word2vec——语言模型篇
序其实，语言模型这个东西才是Word2vec最最核心的东西，但是网上博客给人种过于重视于Hierarchical Softmax和Negatove sampling这两个训练trick，凡事有个因果，这篇我来探讨一下，Word2vec的因。类似于整个NLP的趋势：规则->统计->神经网络，我们的语言模型也有这样一个发展趋势。本文是对：https://blog.csdn.net/...
2019-10-03 17:39:12
717
原创 word2vec中的skipgram和CBOW的比较
序word2vec里有两种模型思路，我觉得需要有个宏观对比印象。对比参考[1]因此，从更通俗的角度来说：在skip-gram里面，每个词在作为中心词的时候，实际上是 1个学生 VS K个老师，K个老师（周围词）都会对学生（中心词）进行“专业”的训练，这样学生（中心词）的“能力”（向量结果）相对就会扎实（准确）一些，但是这样肯定会使用更长的时间；cbow是 1个老师 VS K个学...
2019-10-03 17:17:18
1598
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人