mapreduce中的sequenceFile类,MapFile解析

在map进行操作之后数据应该存在对应的文件中,一般这里涉及到MapFile和SequenceFile,后者主要是记录key/value的列表信息 同时是二进制处理之后的数据,直接看是没有办法的 利用命令 hadoop fs -text 文件的位置 sequence中有三种不同类型的结构 1 未...

2015-09-21 18:35:06

阅读数 1473

评论数 0

广告特征离散化

有一段时间没有写博客了 最近都在做一些和广告算法相关的工作,用的模型也是比较大众的lr,主要呃工作还是在特征提取的过程,下面纪录一些心得体会: 在预估ctr的过程中,理论上是应该有这么几类特征信息: 用户的信息(用户输入的query,包括用户的年龄,消费水平,历史操作行为) 广告的...

2015-06-11 23:55:47

阅读数 1865

评论数 0

SVD理解和其在PCA,LSI的应用

首先确实是觉得这篇文章写得很好,后面的附录也是非常值得一看 整体框架转自 http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 中间穿插一些自己的理解的部分 前言:     PCA...

2015-04-10 13:17:43

阅读数 2129

评论数 0

深入理解EM推导过程

首先都有参考两篇文章: http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html http://blog.csdn.net/zouxy09/article/details/8537620 觉得他们写的非常好,可以参考...

2015-03-26 19:36:17

阅读数 2164

评论数 0

理解迭代法和优化基础

后面介绍的时候结合另一个博客的内容: http://blog.csdn.net/zouxy09/article/details/8537872           个人理解因为其实无论什么机器学习算法,最终都要求助于计算机解决,它又表现为在特定函数空间按某优化目标去搜索一个解出来。衡量指标就...

2015-03-25 18:37:18

阅读数 4404

评论数 1

机器学习Python实现AdaBoost

adaboost是boosting方法多个版本中最流行的一个版本,它是通过构建多个弱分类器,通过各个分类器的结果加权之后得到分类结果的。这里构建多个分类器的过程也是有讲究的,通过关注之前构建的分类器错分的那些数据而获得新的分类器。这样的多个分类器在训练时很容易得到收敛。 本文主要介绍了通过单...

2015-03-18 15:12:57

阅读数 7585

评论数 0

数据库 B树 B+树

在数据库的索引中,一般是利用B树或者B+树进行检索和查询 介绍一下在两种数据结构中数据的查询方式: 1)B树   B树中每个节点包含了键值和键值对于的数据对象存放地址指针,所以成功搜索一个对象可以不用到达树的叶节点。   成功搜索包括节点内搜索和沿某一路径的搜索,成功搜...

2015-03-10 16:39:25

阅读数 897

评论数 0

SVM支持向量机-拉格朗日,对偶算法的初解

许多地方得SVM讲得都很晦涩,不容易理解,最近看到一篇不错的博文写得很好,同时加上自己的理解,重新梳理一下知识要点 http://blog.csdn.net/zouxy09/article/details/17291543 一、引入 SVM是个分类器。我们知道,分类的目的是学...

2015-03-09 18:32:44

阅读数 9430

评论数 3

机器学习 Python实现逻辑回归

# -*- coding: cp936 -*- from numpy import * def loadDataSet(): dataMat = []; labelMat = [] fr = open('testSet.txt') for line in fr.readl...

2015-03-06 15:29:37

阅读数 1606

评论数 1

机器学习—逻辑回归理论简介

下面是转载的内容,主要是介绍逻辑回归的理论知识,先总结一下自己看完的心得 简单来说线性回归就是直接将特征值和其对应的概率进行相乘得到一个结果,逻辑回归则是这样的结果上加上一个逻辑函数 这里选用的就是Sigmoid函数,在坐标尺度很大的情况下类似于阶跃函数 在确认特征对应的权重值也就是回归系数的时候...

2015-03-06 14:51:19

阅读数 1321

评论数 1

机器学习 python实例完成—决策树

决策树学习是应用最广泛的归纳推理算法之一,是一种逼近离散值目标函数的方法,在这种方法中学习到的函数被表示为一棵决策树。决策树可以使用不熟悉的数据集合,并从中提取出一系列规则,机器学习算法最终将使用这些从数据集中创造的规则。决策树的优点为:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以...

2015-03-05 16:02:42

阅读数 3863

评论数 1

机器学习算法与Python实践—k近邻(KNN)

机器学习算法与Python实践之(一)k近邻(KNN) 参考 http://blog.csdn.net/zouxy09/article/details/16955347 一、kNN算法分析        K最近邻(k-Nearest Neighbor,KNN)分类算法可以说是最简单...

2015-03-05 14:56:41

阅读数 741

评论数 1

深入剖析智能指针 shared_ptr

在effective C++经常会提到智能指针,这里对shared_ptr进行一个总结: 1 简要介绍用法 智能指针主要是用于资源管理,当申请一个资源的时候为了保证在离开控制流的时候对应资源应该得到相应的释放,这个时候如果资源对应一个类,在构造类的时候进行资源的分配(也就是书中经常提到的Res...

2015-01-13 15:21:43

阅读数 1142

评论数 1

深度解析京东个性化推荐系统演进史

在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年,当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样,部落与部落之前没有任何工程、算法的交集。2013年,国内...

2017-12-07 11:45:05

阅读数 334

评论数 0

ELK介绍安装

大纲: 一、简介 二、Logstash 三、Redis 四、Elasticsearch 五、Kinaba 一、简介 1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成; Ela...

2017-05-11 21:18:02

阅读数 482

评论数 0

spark上手系列一(常见问题,样例演示)

spark实例在现有的机器上完成的配置省略安装的过程,目前机器上安装的路径是 /opt/spark,记为SPARK_HOME=/opt/spark问题1:找不到对应的host机器 java.net.UnknownHostException: bjzw_102_229: bjzw_102_229 ...

2016-11-30 11:33:02

阅读数 1020

评论数 0

消息队列-Kafka介绍

在现有的工程项目中,经常需要对用户的实时log进行处理,实时log主要是通过kafka进行记录,分两个部分,一部分通过kafka进行切片后存储在hdfs中,另一部分也可以提供实时的kafka数据,方便实时的处理,因此先简单介绍一下kafka的基本的工作原理 消息队列: 消息队列技术是分布式...

2016-11-25 20:09:05

阅读数 1484

评论数 0

mac配置tensorflow

1 安装Homebrewruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)” 最后显示,基本就没问题了==> Next steps Run `brew help` ...

2016-09-17 21:57:58

阅读数 494

评论数 0

理解 LSTM 网络

这是看到的一篇翻译的很扎实的文章,对LSTM的基础框架有了清晰的了http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的...

2016-09-17 17:25:31

阅读数 421

评论数 0

将eclipse变得更加漂亮

一直没有时间搞一下自己的电脑,作为程序员,默认配置真的是不能忍受 1 在eclipse下安装vim的插件,让手指飞起来,vim的插件有三种,分别是Vrapper; eclim;viplugin;具体的安装方式参考http://blog.csdn.net/fatal360/article/deta...

2016-09-17 15:21:50

阅读数 634

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭