机器学习
wzmfla
这个作者很懒,什么都没留下…
展开
-
Spark Pipeline取出中间步骤的模型参数
通过pipelinemodel的stages可以取出中间步骤的输出结果val model = pipeline.fit(featureDF)model.stages(7).asInstanceOf[KMeansModel].clusterCentersval kmeans = new KMeans() .setInitMode("k-means||") .setF...原创 2018-07-24 12:04:04 · 2067 阅读 · 0 评论 -
Spark机器学习 自定义sql函数处理Vector类型
对于sparksql处理不了的类型,可以使用spark.udf.register自定义函数方法处理。spark.udf.register("getPCA0", (s: Vector) => s(0))spark.udf.register("getPCA1", (s: Vector) => s(1))val sql = spark.sql("select getPCA0(pca...原创 2018-07-24 16:03:26 · 1170 阅读 · 0 评论 -
3分钟学会使用Python推荐系统库Surprise
最近做推荐系统,研究了一下Surprise库,使用简单,效果不错。Github地址:NicolasHug/Surprise实现功能:找到和用户A相似的N个用户 找到和项目A相似的N个项目1.item_user_rate_time.txt 数据格式 user item rating timestamp (用户id 项目id 评分 时间戳)2.数据读取 训练模型impor...原创 2018-09-12 18:03:09 · 3948 阅读 · 14 评论 -
简单代码使用迁移学习识别8种不同的鱼,准确率95%
数据集下载:https://www.kaggle.com/c/the-nature-conservancy-fisheries-monitoring/data环境搭建:使用anaconda安装指定版本的keras:conda install -c https://conda.anaconda.org/jaikumarm keras (keras不能大于2.2.0) 导入包:...原创 2018-11-06 18:03:10 · 1816 阅读 · 3 评论