lingerlanlan-CSDN博客

原创 Tensorflow入门：数据结构和编程思想

Tensorflow入门：数据结构和编程思想引言：最近tensorflow很火，看到国内都有不少人开始玩起来了，自己最近有些想法想玩玩，于是开始入门搞一下，因为自己只有一个台式电脑，于是就装了个cpu版的tensorflow，安装过程挺顺利，一两句命令搞定，最后遇到过glibc的版本问题，直接升级了Ubuntu版本就好了。于是，开始入门了。下面是我学习的笔记，水平有限，如有不对，敬请指教。

2017-03-12 14:03:15 6378 1

原创 pagerank以及个性化的pagerank算法

pagerank以及个性化的pagerank算法pagerank最开始是Google提出来用来衡量网页重要度排行的算法。她的思想是基于网页之间互相的链接作为加权投票。假如网页a指向b，那么网页b的重要程度受网页a的影响，a越重要，则b就越重要。假如网页c也指向b，但是c跟a对比，c指向其他网页的数量（出度）较少，那么c对b的贡献程度要大于a对b。下面是网

2015-07-21 20:11:40 14401 2

原创隐性反馈行为数据的协同过滤推荐算法

隐性反馈行为数据的协同过滤推荐算法《Collaborative Filtering for Implicit Feedback Datasets》论文笔记本文是我阅读《CollaborativeFiltering for Implicit Feedback Datasets》论文的笔记，介绍的是对于隐性反馈行为数据协同过滤算法，采取的是隐语义模型（LFM），求解方式是ALS

2015-07-16 21:47:00 12706

原创建QQ群作为大家技术交流的平台

建个QQ群作为大家技术交流的平台最近有很多读者来问我关于caffe的问题，由于我不搞caffe很久了，所以难以高效回答大家的问题。因此，建QQ群作为大家技术交流的平台。caffe，深度学习交流群：419906840机器学习，数据挖掘，推荐广告搜索交流群：126643980

2015-05-14 19:47:48 2675

原创 SVD推荐算法（二）

SVD推荐算法（二）这次讲解的是model-based的SVD推荐算法。跟ALS推荐算法一样，都是矩阵分解的推荐算法，只不过求解的方式不同而已。假如评分矩阵是R，那么我们希望拟合这样一个模型R=U*M其中U是user特征，M是item特征。假如一个user的特征是u，一个item的特征是i，那么这个user对这个item的评分就是u*i（两个特征的内积

2015-04-24 20:17:05 6493 2

原创 SVD推荐算法（一）

SVD推荐算法（一）看了不少论文，总结起来用SVD做推荐主要有两种不同的方式。1 本质上是memory-based，只不过先用SVD对user-item的评分矩阵做降维，得到降维后的user特征和item特征，可以分别做userbased的协同过滤和itembased的协同过滤。2 本质上是model-based，跟传统数学意义的SVD没有太大关系，只不过借鉴了SV

2015-04-24 20:12:52 11719 3

原创 ALS矩阵分解推荐模型

ALS矩阵分解推荐模型其实通过模型来预测一个user对一个item的评分，思想类似线性回归做预测，大致如下定义一个预测模型（数学公式），然后确定一个损失函数，将已有数据作为训练集，不断迭代来最小化损失函数的值，最终确定参数，把参数套到预测模型中做预测。矩阵分解的预测模型是：损失函数是：我们就是要最小化损失函数，从而求得参

2015-03-05 21:08:19 18524

原创 mahout中map-reduce版的itembased推荐算法思想

mahout中map-reduce版的itembased推荐算法思想最近想写一个map-reduce版的userbased，于是先研究mahout中已实现的itembased算法。itembased看起来简单，但是深入到实现细节还是有点复杂的，用map-reduce实现就更复杂了。 itembased的本质：预测某用户user对某物品item的打分，看看该用户对其他

2015-01-12 23:53:12 2186

原创层次分析法量化用户的产品偏好

层次分析法量化用户的产品偏好用户对产品有很多行为，如何进行用户行为分析来量化用户对产品的喜好程度呢？比如豆瓣FM，用户可以点击“喜好”和"扔进垃圾箱"等；比如优酷视频，用户可以顶，踩，分享等。我们如何通过这些行为信息分析用户对这首歌的喜好程度，对这个视频的评分是多少。

2014-12-19 01:03:15 7734 1

原创搞了个微信号，关注数据挖掘，机器学习

我搞了个微信号（data_bird），关注大数据，数据挖掘，机器学习，深度学习。与大家共同与时俱进！

2014-11-20 00:45:49 3521

原创 linger博客原创性博文导航

linger博客原创性博文导航http://blog.csdn.net/lingerlanlan大学研究游戏外挂技术开始了此博客，断断续续写了些博文。后来，开始机器学习和深度学习的研究工作，由于喜欢和热爱，业余时间也经常性学习，并写博文总结。因此，博文越来越多，由于博文是根据时间排序的，看起来有点乱，所以在此处写个导航。UFLDL学习笔记和编程ufldl

2014-08-14 22:12:46 3079 1

原创 ufldl学习笔记与编程作业：Multi-Layer Neural Network(多层神经网络+识别手写体编程)

ufldl学习笔记与编程作业：Multi-Layer Neural Network(多层神经网络+识别手写体编程)ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。新

2014-08-10 01:05:43 8845 11

原创 word2vec源码解析之word2vec.c

2014-07-28 19:00:41 24414 1

原创 word2vector学习笔记（一）

最近研究了一下google的开源项目word2vector，http://code.google.com/p/word2vec/。其实这玩意算是神经网络在文本挖掘的一项成功应用。本文是看了论文《Distributed Representations of Words and Phrases and their Compositionality》的学习笔记。

2014-07-22 20:06:45 35601 2

原创神经网络：caffe特征可视化的代码样例

不少读者看了我前面两篇文章总结一下用caffe跑图片数据的研究流程deep learning实践经验总结2--准确率再次提升，到达0.8，再来总结一下之后，想知道我是怎么实现特征可视化的。

2014-07-09 12:56:36 11975 32

原创 deep learning实践经验总结2--准确率再次提升，到达0.8，再来总结一下

deep learning实践经验总结最近拿caffe来做图片分类，遇到不少问题，同时也吸取不少教训和获得不少经验。

2014-06-19 15:25:40 13426 14

原创 deep learning实践经验总结

最近拿caffe来做图片分类，遇到不少问题，同时也吸取不少教训和获得不少经验。

2014-06-17 19:18:05 5554 7

原创 caffe卷积神经网络框架安装

caffe是一个清晰，可读性高，快速的深度学习框架。作者是贾扬清,加州大学伯克利的ph.D，先就职于google。caffe的官网是http://caffe.berkeleyvision.org/。

2014-03-27 17:27:20 10930 7

原创 Numpy数组的序列化和反序列化

在处理图像数据时，有这么一种需求：图像通常是一个矩阵数据，需要将矩阵数据通过base64编码传输，传输完毕之后解码还原得到原来的矩阵数据。import numpy as npimport base64matrix_data=[[1,2,3,4],[5,6,7,8]]np_matrix_data = np.asarray(matrix_data)print ...

2019-09-18 21:00:07 2808

原创远程终端docker容器linux操作系统安装MATLAB

远程终端docker容器linux操作系统安装MATLAB安装参考流程：linux终端(服务器)安装matlab2016bhttps://blog.csdn.net/u014535579/article/details/78793028问题1：百度网盘下载下载地址如下https://pan.baidu.com/s/1mhSXTfq#list/path...

2019-08-28 21:05:47 2270

原创 C++实现获取DOTA玩家名称（反汇编查找指针地址和跨进程读取war3内存）

C++实现获取DOTA玩家名称（反汇编查找指针地址和跨进程读取war3内存）大学时做了一个类似11小秘书的工具，就是一键查看当前玩家的11天梯积分。其中，获取DOTA玩家名称是其中一个模块，这部分代码之前没公布，现在发出来共享给各位编程爱好者。其中的思路是，先用反汇编技术把DOTA玩家名称的内存地址找出来，然后用C++实现跨进程内存读取。记得当时，找内存地址找了很久，因为当时

2016-12-29 23:29:16 4639 2

原创 mahout的itembased推荐算法改造

mahout的itembased推荐算法改造需求背景：itembased主要是两个步骤：1 item相似度的计算2根据user所评分过的item，以及item之间的相似度，预测未知item的分数 mahout的itembased现有的问题：mahout集成的itembased算法，里面的每个步骤耦合度太强，难以分割。我们希望上面两个步骤能分

2016-02-16 11:05:53 1704

原创 xgboost快速入门

xgboost快速入门xgboost是gbdt算法的实现，可以做回归，分类，和排序。支持各种语言调用，支持单机和分布式。非常适合于大规模数据集。项目主页https://github.com/dmlc/xgboost 安装https://github.com/dmlc/xgboost/blob/master/doc/python/python_intro

2015-11-12 20:57:27 15811 3

原创 liblinear简单使用说明

liblinear简单使用说明liblinear适合解决大规模数据和高维稀疏特征的分类和回归问题。特征文件格式：跟libsvm的一致，每一行都是label index1:value1 index2:value2的稀疏向量的格式。离线的训练和测试阶段，为了方便，我是通过命令行来做的，不需要再写代码。其中liblinear封装了一个train和predict

2015-09-22 19:52:52 11702

原创 sklearn特征选择和分类模型

sklearn特征选择和分类模型数据格式：这里，原始特征的输入文件的格式使用libsvm的格式，即每行是label index1:value1 index2:value2这种稀疏矩阵的格式。 sklearn中自带了很多种特征选择的算法。我们选用特征选择算法的依据是数据集和训练模型。下面展示chi2的使用例。chi2，采用卡方校验的方法进行特征选择，比较适合0/

2015-08-24 22:18:11 14042

原创 map-reduce入门

map-reduce入门 map-reduce其实是一种编程范式，从统计词频（wordCount）程序来讲解map-reduce的思想最容易理解。给定一个文件，里面的内容如下，要求统计每个单词的词频。Hello AngelaI love you AngelaHow are you Angela map（每个单词处理为一行，key,value形

2015-07-01 19:34:08 1782

原创 git配置ssh密钥

git配置ssh密钥如果主机（当前登录用户）之前没有git账号，即添加第一个git账号，并配置ssh密钥时，按照如下的步骤：1 cd ~/.ssh2 ssh-keygen -t rsa -C 'liulian@gmail.com'3 cat id_rsa.pub4 拷贝公钥到git服务器上5 测试：git clone git@git.host.

2015-06-25 19:52:44 10722

原创 spark一些入门资料

spark一些入门资料A Scala Tutorial for Java Programmershttp://docs.scala-lang.org/tutorials/scala-for-java-programmers.html 学习资源（视频教程，书，例子等）spark.apache.org/documentation.html 入门指南s

2015-06-09 19:56:17 2371

原创给大数据文件的每一行产生唯一的id

给大数据文件的每一行产生唯一的id4个主要思路：1 单线程处理2 普通多线程3 hive4 Hadoop 搜到一些参考资料《Hadoop实战》的笔记-2、Hadoop输入与输出https://book.douban.com/annotation/17068812/TextInputFormat：文件偏移量：整行数据但是这个偏移量，貌似

2015-06-09 19:42:23 4952

原创相似度计算map-reduce实现思路

相似度计算map-reduce实现思路输入：1 f(1)2 f(2)3 f(3)4 f(4) mapper:1,2 f(1)1,3 f(1)1,4 f(1)1,2 f(2)2,3 f(2)2,4 f(2)1,3 f(3)2,3 f(3)3,4 f(3)1,4 f(4)2,4 f(4)3,4 f(4)

2015-05-31 16:57:51 2219

原创 python多线程读取同一个文件

python多线程读取同一个文件多线程读取同一个文件，要求不能重复，不能遗漏。最开始尝试了一种方法（后来实践证明是无效的）主线程分配给每个读线程需要读取文件中哪些行，比如线程1读取1-10行，线程2读取11-30行。然后每个线程通过readline()来读取，读到的行如果不属于本线程的范围，则continue跳过。实践证明，这若干个线程并没有按照我们期望来读。

2015-05-13 21:36:05 24030 3

原创一天一段scala代码（十六）

一天一段scala代码（十六）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examplesobject Example16 { //scala操作XML //scala本身自带了强大操作XML的功能，当然也可以调用java的包 //该部分

2015-04-06 15:31:16 1367

原创一天一段scala代码（十五）

一天一段scala代码（十五）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examplesobject Example15 { //注解可以在程序中的各项条目添加信息，这些信息可以被编译器或外部工具处理。 //下面是一个使用

2015-04-06 15:06:19 1353

原创一天一段scala代码（十四）

一天一段scala代码（十四）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examplesobject Example14 extends App{ var ch='9'var sign= ch match{ case '+' => 1

2015-04-05 22:42:45 1280

原创一天一段scala代码（十三）

一天一段scala代码（十三）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examplesobject Example13 extends App{ //可变集合和不可变集合 val iMap = scala.collectio

2015-04-03 20:06:58 1822

原创一天一段scala代码（十二）

一天一段scala代码（十二）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examplesobject Example12 extends App{ def mulBy1(factor:Double)=(x:Double)=>factor*x

2015-04-03 18:09:23 1378

原创一天一段scala代码（十一）

一天一段scala代码（十一）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examplesclass Fraction(n:Int,d:Int){ private val num =n private val den=d def *

2015-04-02 21:37:02 1330

原创一天一段scala代码（十）

一天一段scala代码（十）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples//特质的基本使用trait Logger{ def log(msg:String) //不定义,抽象方法}class Conso

2015-03-09 18:27:26 1400

原创一天一段scala代码（九）

一天一段scala代码（九）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examplesimport scala.io.Sourceobject Example9 extends App { val source = Source.fromF

2015-02-27 18:44:01 1417

原创一天一段scala代码（八）

一天一段scala代码（八）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examplesclass Person8{ var name:String="" def this(name:String) {

2015-02-15 17:05:49 2076

京东评论数据集

文件系统的实现 linux ext2fs 中山大学 万海 界面 操作系统

关于飞信api关于飞信api

study on twitter

空空如也

文件系统的实现 linux ext2fs 中山大学万海界面操作系统