怀梦远航-CSDN博客

原创 TensorFlow的Dataset的padded_batch使用

padded_batch API如下padded_batch( batch_size, padded_shapes=None, padding_values=None, drop_remainder=False)注意参数drop_remainder用来约束最后一个batch是不是要丢掉，当这个batch样本数少于batch_size时，比如batch_size = 3,最后一个batch只有2个样本。默认是不丢掉padded_batch是非常见的一个操作，比如对一个变成的...

2020-08-16 00:25:37 4183 1

转载【转】MovieTaster-使用Item2Vec做电影

转载链接http://lujiaying.github.io/2017/08/15/MovieTaster-%E4%BD%BF%E7%94%A8Item2Vec%E5%81%9A%E7%94%B5%E5%BD%B1%E6%8E%A8%E8%8D%90/MovieTaster-使用Item2Vec做电影推荐2017-08-15前言自从Mikolov在他2013年的论文

2017-10-06 13:19:25 963

原创 python多进程提取处理大量文本的关键词

经常需要通过python代码来提取文本的关键词，用于文本分析。而实际应用中文本量又是大量的数据，如果使用单进程的话，效率会比较低，因此可以考虑使用多进程。python的多进程只需要使用multiprocessing的模块就行，如果使用大量的进程就可以使用multiprocessing的进程池--Pool，然后不同进程处理时使用apply_async函数进行异步处理即可。实验测试语料

2017-05-26 19:18:24 6600

原创 python子类调用父类的构造方法实现方案

python中，类的构造方法是__init__()。当一个类被子类继承且子类重写了构造方法后，若子类还想使用父类的构造方法，如果直接通过创建的子类对象调用父类的方法会报错。解决办法有两个：一个是调用超类方法的未绑定版本，一个是使用super函数见下面的例子class Bird(object):def __init__(self):self.hungry = Truedef

2017-05-20 20:30:58 1153

原创 Java初学阶段知识总结

Java初级用户，自己常用到的java编程方面的一个清单，只是用来梳理一下java编程方面的知识点。-----------2016.10.281）基本数据类型2）面向对象编程类、类的继承与扩展、接口、封装....3）集合类型我们最常用的除了八种基本数据类型，String对象外还有一个集合类。java中集合大家族的成员实在是太丰富了，有常用的ArrayLi

2016-10-28 11:58:41 354

原创 redis学习入门篇--命令集合

参考李子骅《redis入门指南》的第三章的学习总结1）获得符合规则的key，命令： Keys pattern,如Keys myList*2)判断键key是否存在：exists key3）删除键key：del key4)获得key的类型： TYPE key二、redis的数据类型操作都是 command key2.1字符串类型：1）值增加1：incr key

2016-10-11 18:34:02 680

原创 RDD输出到一个文件中

在使用Spark的机器学习模型时，有时为了方便观看输出数据，我们需要将RDD输出到一个文件中，比如我们需要将预测的label输出到一个文件，这样方便我们观看每一个样本的label。你若是输出到多个文件，看起来很不方便。尤其当你需要把预测的label拷贝原始数据所在的excel表格时，若label输出到多个文件，拷贝也很不方便。但是saveAstextFile默认是将RDD输出到多个文件的，因此

2016-10-10 11:56:01 6942

原创将RDD[vector]转化成DataFrame

机器学习中的feature是vector，有时我们在得到RDD[Vector]后，想给feature添加索引，然后转化成DataFrame，这样我们可以根据id来知道某一个feature对应是哪一个样本。根据index来取就方便很多。实现：val us = feature.zipWithIndex()//feature是机器学习需要的特征构成的RDD，每一行是一个向量//然后想将us转

2016-10-10 10:35:11 3953

原创利用cuda的cublas库实现任意矩阵的乘法

使用cublas库的相关函数做矩阵乘法时，应当注意两点：一是cublas的中数据时按里存储的，二是，要注意矩阵是在GPU端产生的还是CPU端产生的。在cublas库中，实现矩阵的乘法有有以上两个函数，分别完成单精度和双精度的矩阵乘法运算。完成的是以下运算（具体可以参看SDK文档）特别小心：ld(leading dimension)的意思，对于矩阵在由cublas的随

2014-05-20 19:56:26 5587 1