2017年01月_illbehere

10月 09月 08月 07月 06月 05月 03月 01月

原创 sparkmllib算法实例

逻辑回归import org.apache.spark.ml.classification.LogisticRegression// Load training dataval training = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")val lr = new LogisticRegression

2017-01-12 15:22:00 8057 4

原创 sparkmllib 特征抽取、特征转换及特征选择

特征抽取TF-IDFTF-IDF一般应用于文本挖掘中，用来反映一个特征项的重要性。设特征项为 t,文档为d,文档集为D。特征频率（ term frequency）TF(t,d) 为特征项在文档d中出现在次数。文档频率（document frequency）DF(t,D)表示含特征项t的文档数。如果只是用tf来衡量重要性，那么对于一遍文档中出现多次但含信息量极少来说是没什么用处的。因此可以用逆文

2017-01-05 17:08:58 3966

原创 sparkmllib数据类型

局部向量有三种方式创建局部向量import org.apache.spark.mllib.linalg.{Vector, Vectors}// Create a dense vector (1.0, 0.0, 3.0).val dv: Vector = Vectors.dense(1.0, 0.0, 3.0)// Create a sparse vector (1.0, 0.0, 3.0) by

2017-01-05 16:06:55 864

原创 SpringMVC+Json构建基于Restful api

web.xml配置<?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xsi:schemaLocation="http://java.sun.com/xml/ns/j

2017-01-04 16:25:34 1252