bettesu-CSDN博客

转载 python from future import division

转自http://blog.csdn.net/feixingfei/article/details/7081446from __future__ import division导入python未来支持的语言特征division(精确除法)，当我们没有在程序中导入该特征时，"/"操作符执行的是截断除法(Truncating Division),当我们导入精确除法之后，"/"执行的是精确除法，

2017-04-28 10:33:19 631

转载 spark不安装hadoop

Spark的安装分为几种模式，其中一种是本地运行模式，只需要在单节点上解压即可运行，这种模式不需要依赖Hadoop 环境。运行 spark-shell本地模式运行spark-shell非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOME$ MASTER=local $ bin/spark-shellMASTER=loc

2017-03-30 21:36:08 14011

$ bin/spark-submit first.py-----------first.py-------------------------------from pyspark import SparkConf, SparkContextconf = SparkConf().setMaster("local").setAppName("My App")sc = SparkContext(conf

2017-03-29 21:51:44 12913

转载入门spark+python

user_data= sc.textFile("ml-100k/u.user") user_data.first()#此处如能输出数据文件首行，则说明环境搭建没问题sc 是Spark shell 启动时自动创建的一个 SparkContext 对象，shell 通过该对象来访问 Spark。可以通过下列方法输出 sc 来查看它的类型。一旦有了 SparkCo

2017-03-28 23:15:02 1972

转载深入FFM原理与实践

FM和FFM模型是最近几年提出的模型，凭借其在数据量比较大并且特征稀疏的情况下，仍然能够得到优秀的性能和效果的特性，屡次在各大公司举办的CTR预估比赛中获得不错的战绩。美团点评技术团队在搭建DSP的过程中，探索并使用了FM和FFM模型进行CTR和CVR预估，并且取得了不错的效果。本文旨在把我们对FM和FFM原理的探索和应用的经验介绍给有兴趣的读者。前言在计算广告领域，点击率CTR（

2017-03-22 22:05:43 397

转载利用GBDT模型构造新特征

实际问题中，可直接用于机器学习模型的特征往往并不多。能否从“混乱”的原始log中挖掘到有用的特征，将会决定机器学习模型效果的好坏。引用下面一句流行的话：特征决定了所有算法效果的上限，而不同的算法只是离这个上限的距离不同而已。本文中我将介绍Facebook最近发表的利用GBDT模型构造新特征的方法1。论文的思想很简单，就是先用已有特征训练GBDT模型，然后利用GBDT

2017-03-22 21:40:22 952

原创通过GBDT组合的特征作为LR的输入

scikit-learn中的apply() 函数有什么作用？在最新版本的scikit-learn中，gradient boosting新增了apply()方法。如图：请问，这个函数功能是和 facebook使用的 GBDT + LR 是类似的么？如果类似，请问该怎么利用好这个函数？或者如何使得它的效果和facebook的方法一样？作者：知乎用户链接

2017-03-21 16:49:53 7744 1

bettesu的博客