- 博客(15)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
原创 python进程池来运行多进程
1. 任务需求很多情况下我们处理数据时,因为数据比较多,所以需要浪费很多时间,而如果我们用的是服务器的话,那么cpu的线程数一般比较高,所以我们可以开启多个线程同时工作,可以加快我们的处理速度。2. 简单例子现在我们来看一个简单例子,看看怎么使用python的进程池。首先就是导入进程池的包:from multiprocessing import Pool然后我们需要将我们需要处理的事...
2019-07-08 16:40:46 608
原创 ubuntu16.04下cuda8.0,cuda9.0,cuda9.2,cuda10.0,cudnn,tensorflow,pytorch的安装
最近实验室新到了服务器,需要装了下cuda的环境,并且希望能将各个环境都装上,为了之后的使用,下面是这两天踩到的一些坑。1. 安装驱动在安装cuda和cudnn之前需要首先安装显卡驱动,搜索英伟达显卡驱动:nvidia driver download,然后进入官网,选择对应的显卡和系统类型:然后选择search进行下载,下载完成之后需要加上执行权限:chmod +x NVIDIA-Lin...
2019-06-22 17:21:28 5894 1
原创 斯坦福大学NLP课程CS224N课第一次作业第四部分
斯坦福大学NLP课程CS224N课第一次作业第四部分很开心到了第一次作业的最后一个部分,这次作业是通过词向量生成句向量然后来进行句子的情感分类。我们要实现的是q4_sentiment.py文件,这个文件看起来很长,但是其实我们要实现的只有三个函数,我们依次看一看。数据在运行q3_run.py之前已经下载过了。1. getSentenceFeatures()def getSentenceF...
2018-11-16 15:06:29 919 4
原创 斯坦福大学NLP课程CS224N课第一次作业第三部分(下)
斯坦福大学NLP课程CS224N课第一次作业第三部分(下)上一篇博客我们实现了word2vec,这一次我们需要实现两个内容,一个是随机梯度下降,一个是使用word2vec训练一个真正的词嵌入任务。SGD(Stochastic Gradient Descent)随机梯度下降对于一个损失函数J,我们想通过调节J的参数使得J最小,然而对于机器学习的很多算法,我们大部分不能直接求导数然后求极值点来得...
2018-11-16 14:45:54 1070
原创 斯坦福大学NLP课程CS224N课第一次作业第三部分(中)
斯坦福大学NLP课程CS224N课第一次作业第三部分(中)上一篇博客我们大体了解了word embedding原理和word2vec原理,这一节我们就开始实现word2vec,作业见q3_word2vec.py。1. word2vec的softmax版本我们在上篇博客其实实现了两种softmax方法,其中一种是基于softmax,一种是基于负采样。我们先实现softmax方法。给的代码很长...
2018-11-14 15:31:54 694
原创 斯坦福大学NLP课程CS224N课第一次作业第三部分(上)
斯坦福大学NLP课程CS224N课第一次作业第三部分(上)CS224N课程还是有点难度的,第一次作业就需要手写word2vec了,不过如果知道wordvec的原理的话,写起来还是比较简单的,主要工作其实都在求导上,我们下面从Word2vec的原理层一点点的解开word2vec的神秘面纱。1. word2vec原理可能很多人都用过word2vec的包,但是还不知道原理,可能有的人觉得没有必要知...
2018-11-11 16:56:16 1020
原创 斯坦福大学NLP课程CS224N课第一次作业第二部分(下)
斯坦福大学NLP课程CS224N课第一次作业第二部分(下)上一个博客我们详细讲解了第一次作业第二部分的前两个函数,下面我们来详细讲解第三个函数,也就是q2_neural.py文件,该文件想让我们实现一个简单神经网络的前向和反向算法,我们从开始到最后仔细分析一下这个程序,要做到知其然也并且知其所以然也。1. 程序结构这个程序主要包含两个函数,分别是forward_backward_prop()...
2018-11-11 10:27:22 939
原创 斯坦福大学NLP课程CS224N课第一次作业第二部分(上)
斯坦福大学NLP课程CS224N课第一次作业第二部分第二部分包括三个python文件,同时也相当于实现三个小功能,分别是梯度检验、sigmoid和简单的神经网络。1.梯度检验梯度校验就是使用函数某点与其相邻点组成的直线的斜率估计该点的导数,如果相邻点为无穷小相邻,那么结果就等于该点的导数,公式解释为:f′(x)=limh→0f(x+h)−f(x−h)))2∗h公式一f^{&#x...
2018-11-09 11:15:32 2070 3
原创 斯坦福大学NLP课程CS224N课第一次作业第一部分
斯坦福大学NLP课程CS224N课第一次作业第一部分最近准备认真学习NLP,所以找了一个比较好的NLP课程即斯坦福大学的CS224N,总共有三次作业,我已经完成了第一次作业,把做的过程和方法写成博客,一个目的是分享,一个目的是作为自己的笔记。作业形式作业是使用Python2.7写的,不过我现在基本都在用Python3.5以上了,但是不用担心,只需要改很少的一部分即可。作业形式是给出大体的框架...
2018-11-08 16:18:12 1414 3
原创 Python高级用法(一)之列表推导(list comprehensions)
python中有很多高级用法,掌握高级用法会让我们的代码更加简单,写起来更加轻松。下面介绍第一个高级用法就是列表推导,作用就是由一个列表生成另外一个列表。初体验任务1:对于一个元素都是数值的列表,求出列表中每个元素平方组成的新列表。一般做法:x = [1,2,3,4,5,6,7,8,9]for i in range(len(x)): x[i] = x[i]**2print (...
2018-10-27 16:04:01 446
原创 Tensorflow实践之MNIST数据集上的Logistic Regression
Logistic Regression 简介Logistic回归实质上就是一个线性模型,但是因为它的结果就是没有隐藏的神经网络,而且它的训练优化方法也很神经网络一样,所以很多神经网络学习之前都会先学习一下Logistic回归。因为我们是在MNIST数据集上进行Logistic Regression,而MNIST是一个多分类问题,所以我们将原来的sigmoid函数换成softmax函数,sig...
2018-10-26 16:31:11 714
原创 Tensorflow实践之MNIST数据集上的Autoencoder
在学习Tensorflow的时候,我用的是github上一个比较好的项目,这个项目有两万多个star,然后里面的模型都是使用的MNIST数据集,我们的上一篇博客讲的怎么导入MNIST数据集,然后前几天实现了项目上的一个自编码器的项目,现在终结一下。自编码器网络结构如图所示,自编码器其实是一种不需要标注的监督学习,输入即输出,其中有四个隐藏层,前两个隐藏层为编码器,后两个称为解码器,这个自编码...
2018-10-26 11:19:43 1505
原创 如何导入MNIST数据集
问题当我使用github上别人的代码:import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datafrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("/t...
2018-10-24 15:49:28 12569 3
原创 Python切片截取
Python切片截取1. List的截取对于一维List的截取:L = [1,2,3,4,5,6,7,8,9]print (L[:]) #返回整个list#[1, 2, 3, 4, 5, 6, 7, 8, 9]print (L[1:5]) #返回下标1-5组成的新list,包括1,不包括5#[2, 3, 4, 5]print (L[:5]) #返回下标从0-5组成的新list,包括...
2018-10-23 16:12:13 625
原创 Python collections.Counter()用法
Python collections.Counter用法什么是collectionsCounterCounter操作例子什么是collectionscollections在python官方文档中的解释是High-performance container datatypes,直接的中文翻译解释高性能容量数据类型。它总共包含五种数据类型:其中Counter中文意思是计数器,也就是我们常用于...
2018-10-22 14:24:18 165619 5
python实现的使用huffman编码对文本的压缩与解压
2017-11-24
算法导论中英文两本pdf
2016-05-09
x-scan扫描器
2014-06-02
北极熊扫描器
2014-05-28
如何怎莫怎么打开ELF文件?
2014-09-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人