- 博客(26)
- 收藏
- 关注
RSS订阅
原创 Word2Vec源码技巧分析(C语言)
这篇博客主要讲解word2vec源码（c语言）中的一些技巧，通过这些技巧从而更好的理解word2vec.1 sigmoid的近似求解先来看看sigmoid的公式和函数曲线：g(z)=11+e−z\bm{ g(z)=\frac{1}{1+e^{-z}} }g(z)=1+e−z1从函数曲线中我可以看出，sigmoid的取值在（0，1）之间。在源码中作者为了减少计算量，通过将[-6,6...
2019-11-19 19:50:36
982
1
原创 pytorch常用操作和方法
tensor的理解 关于tensor，我们可以理解为是一个高纬度的数据，嗯，其实这个不影响我们的使用啦。常用数据类型和转换torch的常用数据类型有：torch.IntTensor、 torch.FloatTensor、 torch.LongTensortorch.Tensor是默认的tensor类型默认的是 torch.FloatTensor。我们来创建一个：a = np.a...
2019-07-24 13:02:40
4330
4
原创 pytorch-LSTM中参数计算以及输出分析
参数计算1首先这篇博客不是介绍LSTM原理的，因为我也不敢说我已经完全理解了LSTM。。。。。。好了，言归正传，我们开始计算lstm中的参数，首先来看pytorch中公式怎么写的：it=σ(Wiixt+bii+Whih(t−1)+bhi)ft=σ(Wifxt+bif+Whfh(t−1)+bhf)gt=tanh(Wigxt+big+Whgh(t−1)+bhg)ot=σ(Wioxt+bio+...
2019-07-05 14:33:24
3442
原创 Python 列表，元组，字典，集合的特点及使用
一 列表列表是一组任意类型的值，按照一定的顺序组合而成； 通过索引来标识元素，第一个索引为0；需要注意的是索引可以是负值； 列表中元素是任意类型的，包括列表类型； 可以进行合并，删除，索引，切片等操作； 定义列表使用中括号； 定义空列表list=[]增加元素 append（尾部增加）list.append(1)list.append(2)print(list)in...
2018-11-01 14:36:55
4741
原创 Linux常用命令
内存使用情况free 命令显示系统使用和空闲的内存情况，包括物理内存、交互区内存(swap)和内核缓冲区内存。共享内存将被忽略-b 以Byte为单位显示内存使用情况。-k 以KB为单位显示内存使用情况。-m 以MB为单位显示内存使用情况。-h 以合适的单位显示内存使用情况，最大为三位数，自动计算对应的单位值。单位有：total:总计物理内存的大小。used:已使用多大。free:可用有多少。Shared:多个进程共享的内存总额。Buff/cache:磁盘缓存的大小。free
2021-05-03 19:02:46
187
原创 java调用python相关问题
最近做web时候遇到了一些问题记录一下：环境配置：dockertomcatpytorchcondaweb部署在docker的容器上。java调用python采用的是Runtime.getRuntime()。Process p1 = Runtime.getRuntime() .exec("/root/anaconda3/bin/python " + py + " -fasta " + test_fasta_path + " -word " + word_path); Input
2020-11-27 18:37:11
373
1
原创 Mac无法连接Apple所有服务-解决方法
先确定自己的网络没有问题；查看所在国家服务是否关闭（可能性不大）；还原网络设置，重新启动；在Finda中找到/Library/Preferences/SystemConfiguration 这个路径；删除输了com.apple.Boot.plist 的其他文件，然后重新启动。...
2020-08-22 20:19:50
3433
原创 函数空间
在很多的书中都会碰到欧式空间和希尔伯特空间，虽然，并没有什么实质的用处，但是，还是看到这写名词难免虎躯一震。这篇博客大概记录一下，这几个东西，目的不是为了完美的解释这些东西到底是什么，而是为了让自己在看到这些东西的时候不再害怕，而是心里知道就是那么回事。同时还有另外的作用就是可以用来吓别人。我们主要理解的介个函数空间如下：距离空间（度量空间）线性空间（向量空间）赋范空间内积空间欧氏空...
2019-10-31 09:06:22
948
转载 损失函数总结
本文主要总结一下常见的损失函数。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。1. 0-1损失函数(zero-one loss)0-1损失是指：预测值和目标值不相等损失值取1， 否则为0:0-1损失函数直接对应分类判断错误的个数，但是它是一个非凸函数，不太适用.感知机就是用的这种损失函数。...
2019-10-18 16:43:07
1239
转载 激活函数
这篇博客对激活函数进行总结。神经网络为什么需要激活函数：首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。不同的激活函数，根据其特点，应用也不同。Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,1)之间，说明Sigmoid和tanh适合做概率值的处理，例如LSTM中的...
2019-10-17 16:20:20
656
原创 scikit-learn-分类模型评价标准
0 模型指标 本篇博客记录主要的模型评价标准的含义和用法。先看一个我常用的评价指标图（二分类）：1 TP ，FP ，TN ，FNTP：实际正例；预测反例；FP：实际反例；预测正例；TN：实际反例；预测反例；FN；实际正例；预测反例；2 recall ，precision(1)recall=sensitivity=TPR=TP(TP+FN)recall=sensitiv...
2019-08-13 20:51:25
2662
3
原创 使用GloVe训练自己的语料
这篇博客是一个教程，废话不多说，直接开始1 预料的展示 因为我做的是dna数据所以这里和大家不一样。。。。。。。。。。。。。。。2 下载官方代码 官方下载地址：GloVe（c语言版本）3 修改文件首先将源码上传到服务器打开demo.sh将前面的代码注释掉（如下图）对应的将CORPUS修改为自己的语料名字，我的是words.txt (注意带上后缀)到这里就...
2019-07-29 16:49:00
2074
1
原创 浅谈seq2seq中Attention机制
attention 机制 attention机制，恩，也就是他的字面意思，我们对序列进行注意力分配，是的重要的额信息更加的突出，不明显的信息被弱化或者忽略。这个机制具体怎么体现的呢？接下来我们来分析一下attention机制的原理。 在理解atention之前，最好对encoder-decoder有一点了解，因为，目前很多的attention机制依附于这个框架来实现。我们这里以rnn单元...
2019-07-12 09:03:09
1736
原创 scikit-learn中标准化和归一化
1 归一化归一化：我们通俗的可以理解为将数值映射到(0,1)之间。在机器学习之中我们可以理解为将某一特征的取值映射到（0，1）之间。公式：xi−min(xi)max(xi)−min(xi)\frac{x_i-min(x_i)}{max(x_i)-min(x_i)}max(xi)−min(xi)xi−min(xi)接下来我们来看一下scikit-learn中的使用：u = [[ ...
2019-06-24 21:45:18
1263
原创 浅谈神经网络语言模型(NNLM)的理解
最近一直在使用各种Embedding的方法，于是好奇的看到了NNLM，总结一下自己的理解。介绍我们用p=(w1,w2,...,wt)p=(w_1,w_2,...,w_t)p=(w1,w2,...,wt)来判断一句话是否通顺。通过条件概率得到如下变形：P(W1,W2,…,Wt)P(W_1, W_2, … , W_t...
2019-06-19 19:48:15
1507
3
原创 UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels
遇到这个问题的原因通常是，在预测的标签中缺少实际的标签。我举个简单的二分类的例子:实际标签 1，1，1，1，0，0，0，0预测标签 0，0，0，0，0，0，0，0这里在预测标签中就没有 1 这个标签。这个时候就会出现这样的警告，注意这个是警告并不是错误。一种避免警告的方法如下：import warningswarnings.filterwarnings("ignor...
2019-05-03 14:15:07
30709
9
原创 Spark-ML-UDF使用的简单介绍
最近的在学习spark，同时作业有用到spark-udf，在这里简单总结一下：下面我分别分析了udf的两种用法（当然都是针对spark2.x的）以及决策树和随机森林的使用以及交叉验证的使用。spark sql用法注册自定义函数：spark.udf.register("stringcount", protein _)使用： var date: DataFrame =spark...
2019-04-12 19:38:32
428
原创 神经网络-BP算法简单推导
相信很多人和我一样看了很多的博客，很多书始终对于BP算法都是一头雾水。其实可以大致总结计算步骤如下：通过前向传播得到最终的损失。 计算梯度（需要更新的参数的梯度）。 更新梯度。里面总是出现一些公式很费解。（其实大家可以把它当作梯度下降优化算法的简洁版）这里推荐一个写的很不错的博客以代码实现的角度来理解：https://www.cnblogs.com/pinard/p/64228...
2019-04-04 17:50:19
575
原创 libsvm自定义核函数并集成到weka
1 首先，在https://www.csie.ntu.edu.tw/~cjlin/libsvm/下载libsvm；2 将代码导入到eclipse中；3 打开libsvm包下的svm.java文件中。这边对核函数的修改主要在svm.java文件里面的Kernel类；4 我们可以看到在Kernel里面定义了基本的特征运算，如dot()点积、powi()幂等，可用于线性核、多项式核的计算，...
2019-02-16 18:01:07
606
原创 WEKA-Instances-从内存中创建数据集
废话不多说，直接上干货weka的官方参考手册 ：https://www.cs.waikato.ac.nz/ml/weka/documentation.html在API 一节中有 creating datasets in memory （官网的还是比较标准的）大家也可以简单的看一下我写的一个简单的demo。首先看Attribute：这个是我自己写的一个2-mer特征提取的代码大家参考...
2018-12-04 19:54:03
1529
原创 VMware上部署Hadoop-2.8.5+Spark-2.3.0完全分布式集群
相信大多数初学者和我一样，对配置环境头疼的一批；我在这里简单介绍一下hadoop基于虚拟机的完全分布式部署；1 首先说一下我的电脑配置吧：win10操作系统；8g内存；i5六代处理器；配置越高越好吧（要不然容易卡顿）；Ubuntu 16.04(这个镜像大家可以去网上下啊；之后安装什么的都比较简单就不说了)我强调一点：可以先安装一个镜像进行配置然后进行复制，这样可以减少很多重复的...
2018-11-20 11:40:01
652
1
原创 常见内网IP段
常见内网IP段局域网，解决了ipv4地址不够用的问题。同时方便维护管理。局域网地址范围分三类，以下IP段为内网IP段：C类：192.168.0.0 - 192.168.255.255B类：172.16.0.0 - 172.31.255.255A类：10.0.0.0 - 10.255.255.255...
2018-11-14 10:27:30
47826
2
原创 加载自定义分类器到weka
本文大致介绍加载自己算法到weka的方法；1 首先编写自己的分类器算法（要符合weka的规范，可参看weka其他算法源码）2 注意自己的包名（对应weka的classify的choose中目录）类名（对应choose具体的分类器名）3 将自己的程序打包成jar包。这里需要特别注意。3.1 加载到weka的时候不要将weka.jar一起打包。3.2 依赖的jar不要一起打包，（...
2018-10-01 10:33:38
671
原创 基于springMVC+AJAX+BootStrapTable实现上传文件和客户端分页
1 首先看一下上传表格代码，主要代码如下： <form method="post" enctype="multipart/form-data" id="orderform"> <div class="form-group"> <input id="file0" name="file0" type="file" multiple class="fi...
2018-09-25 16:47:12
589
原创 Java实现FatMouse‘ Trade(贪心)
问题描述如下：Problem DescriptionFatMouse prepared M pounds of cat food, ready to trade with the cats guarding the warehouse containing his favorite food, JavaBean.The warehouse has N rooms. The i-th ro...
2018-09-13 12:38:24
504
原创 SSM和Ajax实现后端分页
效果展示点击前一页后一页首页或者尾页或者是跳转都是静态的实现。表单的实现1 当点击confirm按钮时会显示第一页信息（我在这里设定的是点击confirm时候出现第一页信息和 首页 尾页 前一页 后一页等信息）这里是两个table在一块（和一个是一样的）。先看表单代码，解释在后面，表单代码如下（使用的bootstrap模板）：<form role="form" ...
2018-08-22 15:44:01
3975
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人