自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

猫爷大数据学习笔记

总结这近2年来学习开发笔记和心得

  • 博客(13)
  • 资源 (4)
  • 收藏
  • 关注

转载 百分点苏海波-用户画像的构建与使用1

转载 百分点是一个推荐服务的提供商,但是已经转型为大数据解决方案的提供商。 首先看一下大数据与应用画像的关系,现在大数据是炙手可热的,大数据的4个V都比较了解,大数据应该说是信息技术的自然延伸,意味的无所不在的数据。我们先看下数据地位发生转变的历史,在传统的IT时代,it系统围绕这业务服务,在这个服务的过程中沉淀了许多的数据,在数据的基础上做一些分析。但是到了DT时代就不一样了。数据是现实世

2015-11-18 22:13:32 3734

转载 今天来学习下美团推荐算法实践:机器学习重排序模型

转载,来自小象学院。 美团推荐算法实践:机器学习重排序模型 文章介绍了美团推荐系统的构架和优化过程,包括数据层,触发层,融合过滤层和排序层,采用了Hbase,Hive,Storm,Spark和机器学习等技术。两个优化两点将是候选集进行融合与引入重排序模型。 看的到这里顿时觉得高大上了,有木有…… 在用户意图明确时,我们通过用搜索引擎来结局互联网时代的信息过载问题,但当用户的意图不明确的时候或

2015-11-14 20:38:15 16292 4

转载 快速理解bootstrap,bagging,boosting-三个概念

1 booststraping:意思是依靠你自己的资源,称为自助法,它是一种有放回的抽样方法,它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。2 bagging:bootstrap aggregating的缩写。让该学习算法训练多轮。3 boost:其中主要的是adaboost(adaptive boosting)4 bagging和boosting的区别:二者的主要区别是取样本方式不同

2015-11-10 21:35:38 28041

原创 scala学习-介绍scala的几种特性7

承接上篇,前提条件检查,使用require。 1添加成员变量 记得上篇的时候,使用了类参数的方式来构建主构造函数,但是这是由缺陷的。 现在我们构建一个两个rational相加的操作。class Rational (n:Int,d:Int){ println("i am a class construction~"+n+"/"+d) require(d!=0) override de

2015-11-23 21:22:05 1261

转载 5分钟深入spark运行机制

转载-包子铺里聊it 因为这篇文章说的简单明了,感觉有必要学习下哈…… 其中有写概念我会加入我自己的理解(个人见解啊)。 关键概念 spark的关键就是引入了RDD,resilient distributed datasets概念。其实没有什么太深,你可以把rdd想想成一组数据。 spark把要处理的数据,处理的中间结果,和输出结果都定义成RDD,这样一个场景的spark job就类似:

2015-11-22 21:52:48 1585

转载 百分点苏海波-用户画像的构建与使用2应用

转载自百分点苏海波 上篇写了画像的理论性的知识,这篇学习下应用。 用户画像的具体应用包括售前的精准营销,售中的个性化推荐以及售后的增值服务等。用户的标签纬度和应用是相互相城的关系,一面可以根据现有的标签纬度开发应用,另一方面可以通过应用需求扩展维度,两者互相促进。 我们在这里举的列子分为3类,第一类是售前的精准营销,比如电商客户和企业客户,需要经过精准营销,把站外的用户吸引到你的网站上面来

2015-11-21 13:43:29 4498

原创 scala学习-介绍scala的几种特性6

案例来自于引路蜂 本文介绍完整的定义一个类。定义函数化对象,函数化对象的意思是所定义的类和对象都不包含任何可以修改的状态。还会介绍Scala的几种特性:类参数和构造函数,方法,操作符,私有成员,重载,过载,条件查询,引用自身。 1类定义规范 定义一个有理数的类。有理数的定义:一个有理数可以表示成分数的形式:n/d,其中n和d都是整数,d不能为0。 因此我们定义的个有理数类,Rational类

2015-11-19 22:26:42 1187

原创 scala学习-基本数据类型和简单操作5

1基本数据类型 只要是java的基本数据类型,Scala都支持。不过Scala中的数据类型都是对象,这些基本类型都可以通过隐式自动转化的形式支持更多的方法。隐式自动转换的概念简单的就是,为基本类型提供扩展,比如(引路蜂例子),调用(-1).abs(),-1是Int型,基本类型Int步支持abs方法的,那么Scala就会把-1转化成RichInt类型,然后调用RichInt类型的abs方法。 基本

2015-11-15 19:53:46 1279

原创 scala学习-基本语法4

类和对象2: 前面提到,Scala是面向对象的编程,且Scala不允许保护静态元素-静态方法和静态变量。意思是社么呢,就是我虽然使用Private 定义了变量,在外面我还是可以访问。package org.wq.learnobject CheckSumAccumulator { def main(args:Array[String]):Unit={ val c = new Chec

2015-11-14 13:07:51 581

原创 scala学习-基本语法3

上接scala学习计算开始基本语法2 接上一篇的一点尾巴 第九步:读取文件操作 读取文件中的每行,读取文件,然后每行打印出来,使用相对路径,data目录里放在工程里。import scala.io.Sourceval file = Source.fromFile("data/data_test.txt") for(f<-file.getLines()){ println(

2015-11-14 10:04:30 451

原创 scala学习计算开始基本语法2

上接scala学习开始基本语法1 第五步:数组的使用 在scala中,可以使用new来实例化对象,当你创建一个数组对象的时候,你可以使用数值或者是类型参数。但是在scala中,是使用[]来指明对象,java是使用<>。如下代码package org.wq.learnobject day2 { def main(args: Array[String]): Unit = { val st

2015-11-13 20:27:57 550

原创 scala学习计算开始基本语法1-从今天开始更新

1环境: window linux 我的机子的系统ubonto不能用了,就是用window的eclipse for scala来学习。http://scala-ide.org/ 环境就不说了。linux上可以使用交互命令行,也可以使用eclipse这种ide,intellij idea比较火,但是内存消耗大。这次就步用了。 今天从scala的基本语法开始。 讲之前,要hello,很多语言

2015-11-12 23:30:42 720

转载 如何从菜鸟成长成spark大数据高手(转载+自我笔记)

如何从菜鸟成长成spark大数据高手(转载+自我笔记) 以后会出各种关于hadoop,spark,机器学习专题,新手笔记,大家多多提意见。Spark采用了一个统一的技术堆栈解决了云计算大数据的如流式处理,图技术,机器学习,nosql查询等方面的核心问题,RDD。 具有完整的生态系统,这奠定了一统云计算大数据领域的霸主地位。 要成为高手,需要经历以下几个阶段。第一阶段:熟练掌握Scala语言

2015-11-11 22:19:23 1114 1

一个sso的解决方案

一个sso的解决方案

2017-04-07

shell自动部署spark(免密码+ssh+scala+spark)

自动化部署,spark分布式集群,全过程只需要输入密码即可,部署spark是分分钟的事。参考文章:http://blog.csdn.net/wangqi880/article/details/52875524

2016-10-20

jsp html 路径解决

在写jsp的时候,要注意下路径。本文档中比较详细的介绍了各种路径的处理和实现。但是有点乱

2011-12-07

c++实现背包问题

实现了背包问题的解决方法,利用了回溯法 大学计算的编程的 可以拿来练习下

2011-12-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除