星影L的博客

人生的坎坷,一半是生活挖的坑,一半是自己的棱角刺的洞!

深度学习手记(十)之TensorFlow中求loss的三种函数对比

  在搭建神经网络模型时,都会计算模型的loss,再进行反向传播优化参数。而在TensorFlow中计算loss的函数有很多,其中使用比较多的是: tf.losses.sparse_softmax_cross_entropy() tf.nn.sparse_softmax_cross_entrop...

2019-04-17 21:39:51

阅读数 62

评论数 0

在TEB数据集上搭建翻译模型——Seq2Seq

import tensorflow as tf # 语言预处理流程(数据里面的单词已经全部转化为单词编号) # 使用Dataset从一个文件中读取一个语言的数据。 # 数据的格式为每行一句话,单词已经转化为单词编号。 class PrepDataset(object): def __in...

2019-04-17 09:13:44

阅读数 77

评论数 0

深度学习手记(九)之Inception-v3实现迁移学习

  在训练神经网络模型时,往往需要很多的标注数据以支持模型的准确性。但是,在真实的应用中,很难收集到如此多的标注数据,即使可以收集到,也需要花费大量的人力物力。而且即使有海量的数据用于训练,也需要很多的时间。因此为了解决标注数据和训练时间的问题,可以考虑使用迁移学习。   所谓的迁移学习,就是将一...

2019-04-05 10:56:04

阅读数 52

评论数 0

深度学习手记(八)之PTB实现LSTM模型

  PTB(Penn Treebank Dataset)文本数据集是语言模型学习中目前最广泛使用的数据集。下面将使用它构建一个长短期记忆网络(LSTM)。本文中只讲相应的代码实现,而关于LSTM的理论可以阅读这篇文章——Understanding LSTM Networks。   下面是本次构建L...

2019-03-26 20:40:33

阅读数 112

评论数 0

深度学习手记(七)之MNIST实现CNN模型

  手写字体识别是一个很好练习CNN框架搭建的数据集。下面简单讲述一下整个模型构建的思路:   整个模型通过两次卷积、两次亚采样以及两次全连接层,整个结构比较简单,也易理解。其中,两次卷积层的大小都为5x5,过滤器分别为32和64个,为了不改变图片的大小,设置padding参数为“same”,步长...

2019-03-26 12:17:31

阅读数 54

评论数 0

Scala调用Spark工具包出现错误: 找不到或无法加载主类

使用eclipse编辑器搭建spark框架的时候,可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误,不难发现网上很多信息指出这是因为混合了java 和scala,造成了不编译。但是,如果有使用他们的解决方法,还是失效的小伙伴们,那么可以试试我的方法。 注:Scala版本为2.11....

2019-03-22 18:15:07

阅读数 111

评论数 0

用Java编写一个猜数字小游戏

这个猜数字,需要使用到从外部传入参数的方法Scanner。下面,我们直接上代码看看效果: import java.util.Scanner; public class GuessNumber { public static void main(String[] args) { // 猜字...

2019-01-11 09:32:23

阅读数 97

评论数 1

解决在Ubuntu下Java能使用,而Javac不能使用问题以及apt安装软件总是出现Unable to locate package XXX

在Ubuntu系统下安装Java,可能会遇上Java能使用,而Javac却不能使用。也就是说不能编译java格式的文件成字节码格式文件。遇上这种问题主要可能有两种问题: 第一种,在添加环境变量时,应该注意PATH=${JAVA_HOME}/bin:$PATH等号两边不要有空格键。 第二种,已经正确...

2019-01-02 10:09:47

阅读数 155

评论数 0

数组相关问题小总结——Python

在这里想要总结一下,数组相关问题,比如:两个数之和、三个数之和、三个数之和最相近的数、全部子序列、组合排列问题。。。这些问题看似是一个个单独的问题,但是,却可以在很多场景下反复用到。所以,觉得很有必要将它们进行总结,以便在以后的工作中使用。 话不多说,下面就开始做。 列表中多个数之和 def ...

2018-10-18 09:03:43

阅读数 57

评论数 0

DFS遍历以及反转二叉树Python实现

如果一个二叉树,我们要按照深度优先方式遍历它,需要做三件事情:遍历左子树、遍历右子树和访问根节点。下面使用L、R、D表示这三项工作。 选择这三项工作的不同顺序,就可以得到三种常见遍历顺序: 1. 先根序遍历(按照DLR顺序) 2. 中根序遍历(按照LDR顺序) 3. 后根序遍历(按照LRD顺序)...

2018-10-09 15:33:43

阅读数 162

评论数 0

使用TensorFlow Slim微调模型出错

在学习《21个项目玩转深度学习》这本书时,第三章使用TensorFlow Slim微调模型遇上了一个问题。 运行: python train_image_classifier.py \ --train_dir=satellite/train_dir \ --dataset_name...

2018-08-31 19:02:46

阅读数 369

评论数 2

R数据分析实战——奥运会120年历史

R语言在数理统计、数据分析以及数据可视化也是一把利器,但是,不管是使用它的人还是了解的人多不如Python多。然而,其实R语言也是一门优雅的语言,也可以很好的处理数据,并且充分进行可视化。下面,我们使用最近Kaggle上的一个数据集——奥运会120年历史,具体进行数据分析。 导入数据和R包 ...

2018-08-24 15:41:57

阅读数 416

评论数 0

python3安装OpenCV3出现:ImportError: numpy.core.multiarray failed to import

OpenCV之前只支持python2版本,不支持python3版本,在现在python3也可以安装OpenCV包了,而且也没有之前使用python2安装OpenCV那么麻烦了。但是,还是需要手动去下载包在安装,如果直接使用pip install opencv-python是会出错的。 所以,可以...

2018-08-14 20:19:53

阅读数 2298

评论数 0

深入浅出聚类算法之k-means算法

k-means是一个十分简单的聚类算法,它的思路非常简明清晰,所以经常拿来当做教学。下面就来讲述一下这个模型的细节操作。 内容 模型原理 模型收敛过程 模型聚类个数 模型局限 1. 模型原理 将某一些数据分为不同的类别,在相同的类别中数据之间的距离应该都很近,也就是说离得越近的数据应该...

2018-08-13 18:14:06

阅读数 1021

评论数 1

几种无监督学习示例

无监督学习模型是识别无标签数据结构的模型。这里简单介绍几种的无监督学习算法。分别是主成分分析(PCA)、高斯混合模型、流形学习算法(Isomap)。 主成分分析(PCA) 这里使用鸢尾花数据集进行演示,将它降维到两个维度,然后再可视化。其实,降维的任务是要找到一个可以保留数据本质特征的低维矩...

2018-07-19 15:02:25

阅读数 3485

评论数 0

作ROC曲线时遇上的问题

使用ROC曲线评估分类模型是非常通用的手段,但是,使用它的时候要注意两点: 1、分类的类型。 必须为数值型。 2、只针对二分类问题。 ROC曲线是根据一系列不同的二分类方式(分界值或决定阈),以真阳性率(灵敏度)为纵坐标,假阳性率(1-特异度)为横坐标绘制的曲线。传统的诊断试验评价方法有一...

2018-07-12 15:21:58

阅读数 2682

评论数 4

服务器配置FTP及问题解决

最近需要搭建一个FTP服务器,接受别人的数据传输。咋眼一看搭建FTP服务器很简单,使用vsftpd软件确实也很简单,看网上的教程,可以搭建,但是,这也会出现问题,搭建的FTP没有办法被访问,又不知道是哪里出了错。这是很尴尬的! 我是使用的阿里云服务器,按照这篇文章教程搭建的: https://...

2018-06-21 15:53:07

阅读数 954

评论数 0

解析逻辑回归模型

介绍 逻辑回归模型是业界运用最为广泛的模型,我们从下面几个方面讨论这个模型: 1. 在模型层面上,逻辑回归模型是被用来解决分类问题的。由于分类是一个非线性问题,所以建模的主要难点是如何将非线性问题转化为线性问题。主要从两方面入手: - 从分解问题的角度入手:通过引入隐含变量(这里举一个例...

2018-06-18 11:33:24

阅读数 629

评论数 0

爬取百度学术文章及文本挖掘分析

学了一段时间的爬虫,给自己找一个小项目来练练手,爬取百度百科文章,之后结合自然语言处理分析文本之间的相似度和提取所有文章的重要信息。 目标总览 爬取数据 清洗数据 词云展示 文章相似度分析 第一部分、爬取百度学术文章 首先,我们打开百度学术首页:http://xueshu.baidu....

2018-06-05 11:26:47

阅读数 2463

评论数 21

对solid平台所测数据进行转化

solid平台测序在目前已经不常见了,但是,很不幸的是我第一次下载Reads就遇上了。所以,在网上搜集了很多资料,在此整理了一下。 首先,solid测序结果他是color space 编码,不是普通的ATCG四个碱基编码,所以在格式上就不相同。 它是四行为一条read,从@行开始到!行结束...

2018-05-17 10:06:47

阅读数 263

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭