Spark2.1.0_ml 决策树分类模型

目录 1.导入包 2.导入数据并创建DataFrame 3.划分数据集,定义模型框架 4.用pipline将训练步骤串联,训练模型 5.在测试集上预测,查看部分结果 6.评估模型,打印树模型 7.运行结果 1.导入包 import org.apache.log4j.{Level...

2019-04-26 16:32:13

阅读数 28

评论数 0

Win10+IDEA+Scala+Spark2.1.0官方实例——朴素贝叶斯

从Spark 2.0开始,Spark中的基于RDD的spark.mllib包已进入维护模式,现在Spark主要的机器学习API是基于DataFrame的spark.ml包,基于RDD的API将在Spark3.0之后移除,(DataFrame API支持的语言有Scala,Java,Python和R...

2019-04-22 16:24:12

阅读数 53

评论数 0

Spark MLlib基本数据类型

1.本地向量 Local Vector import org.apache.spark.mllib.linalg.{Vector,Vectors} /* * 本地向量 Local Vector * */ object scalaTest { def main(args: Array[Str...

2019-04-20 16:30:10

阅读数 14

评论数 0

Win10+IDEA创建Maven并配置Scala

目录 1.在IDEA中新建Project-->Maven-->Next 2.GroupId一般写公司统一名称,ArtifactId写项目名称 -->Next 3.点击Finish 4.目录结构 5.解压apache-maven-3.3.9-bin...

2019-04-19 15:22:57

阅读数 17

评论数 0

Win10_spark本地模式报错:Failed to locate the winutils binary in the hadoop binary path java.io.IOException

当想在Windows上运行Spark本地模式测试代码的时候会报如下错误ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate e...

2019-04-15 15:29:09

阅读数 75

评论数 0

keras_retinanet 目标检测——自定义图片数据集的模型训练步骤

最近在学习 keras_retinanet ,下面就记录下用自己的数据集进行的模型训练。 大致分为以下几步: 自定义训练数据 图片目标标注 生成用于训练的图片名称、目标标注位置及目标类别的.csv文件 开始训练模型(注意参数调整) 转换训练好的模型 用转换后的模型进行目标检测 下面就...

2019-03-13 18:14:34

阅读数 434

评论数 1

ImageAI 学习

最近在学习ImageAI对图片的处理,在此记录下学习过程。 参考:ImageAI 的 Github 链接 目标:用自己的图片库实现液晶屏异常预测。 1. 将自己的图片整理成224×224(模型默认)像素的大小,新建一个tf-train目录(名字随便起),在该目录下分为train和test两个...

2019-03-13 16:10:57

阅读数 94

评论数 0

tensorflow错误解决:“tensorflow.python.framework.errors_impl.ResourceExhaustedError”

tensorflow错误:“tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[32,256,55,55]” 解决方法: 减少批处理Batch...

2019-03-11 11:37:54

阅读数 67

评论数 0

Win10+python3.6 安装dlib库

直接用 pip install dlib 总是报错 ,下载 dlib-19.8.1-cp36-cp36m-win_amd64.whl 本地安装也是各种错 看有人说需要先在系统上安装cmake,但我还没安的时候指定了下dlib的版本号且不要太新居然成功了! ...

2019-03-08 16:48:28

阅读数 59

评论数 0

各大AI 开放平台

文章目录1、百度AI开放平台2、腾讯AI开放平台3、阿里云机器学习和深度学习平台PAI4、科大讯飞语音开方平台5、旷视face++人工智能开放平台6、网易AI平台7、Amazon AI8、Inter 英特尔人工智能服务 1、百度AI开放平台 点击进入 百度AI 2、腾讯AI开放平台 点击进...

2019-03-06 16:30:26

阅读数 99

评论数 0

tensorflow-gpu分配显存tf.ConfigProto和tf.GPUOptions

初次使用tensorflow-gpu时用的sess = tf.Session()启动图,这时总报如下错误 但是程序逻辑是没有问题的,后来发现是需要为其分配显存,因此需要将sess = tf.Session()改为: config = tf.ConfigProto() config.gpu...

2019-03-05 15:14:45

阅读数 79

评论数 0

Win10安装CUDA 9.0+cuDNN v7.0+tensorflow-gpu 1.11.0和opencv的教程

鉴于我自己踩过的坑,提醒大家千万不要直接pip install tensorflow-gpu而不指定版本!!!我一开始用最新的1.13.1版本总是报“ImportError: DLL load failed: 找不到指定的模块。”的错误,果断的卸载后安装了1.11.0版本,直接就OK啦! 注:如...

2019-03-05 13:24:58

阅读数 324

评论数 0

机器学习——样本不均衡的处理方式

本片博文主要是对机器学习的分类问题中存在的样本不均衡情况的处理说明,具体如下: 当对数据进行分类训练的时候,有时候会出现原始数据样本不均衡的情况,也就是正例与反例样本数量存在差异。此时为了能够更好的训练模型,需要对原始数据进行“过采样”或“下采样”来使得训练数据分布均衡。 过采样:让正反例样本...

2019-01-07 14:19:40

阅读数 93

评论数 0

Python3——pandas的DataFrame(.ix .loc .iloc)取数据的坑~

版权声明:本文为博主辛苦码出来滴~,才疏学浅,如有不对尽请指正,未经博主允许不得转载。 pandas 是数据处理中最常用的工具之一,有时候我们不需要用整个DataFrame里的数据,而是只想取各别的行或列,这时候可以用.ix .loc .iloc来实现,不过这三种在使用的时候要特别注意以...

2018-12-29 18:13:36

阅读数 294

评论数 0

Python3——np.linalg.norm

版权声明:本文为博主原创文章,未经博主允许不得转载。 在线性代数中,一个向量通过矩阵转换成另一个向量时,原有向量的大小就是向量的范数,这个变化过程的大小就是矩阵的范数。 矩阵的范数 首先假设矩阵的大小为m∗nm∗n,即m行n列。 1-范数,又名列和范数。顾名思义,即矩阵列向量中绝对值之和的...

2018-12-28 17:56:33

阅读数 161

评论数 0

Python3——数组 “切片” 遇到的坑~

在机器学习的有监督学习中,常常要把数据分为“特征列”和“标签列”,特征列往往在最后一列,然而进行切片的时候用[:, -1] 和 [:, cols-1:cols] 得到的结果是不同的,前者将最后一列转为一行,后者是列。 具体如下: data = np.array([[1, 2, 3], [3, ...

2018-12-27 17:00:09

阅读数 186

评论数 0

Python3——numpy中mean和average的区别

mean和average都是计算均值的函数,在不指定权重的时候average和mean是一样的。指定权重后,average可以计算一维的加权平均值。具体如下: import numpy as np a = np.array([np.random.randint(0, 20, 5), np.rand...

2018-12-19 18:39:42

阅读数 592

评论数 0

Python3——numpy.ptp()最大值与最小值的差

numpy.ptp() 是计算最大值与最小值差的函数,用法如下: import numpy as np a = np.array([np.random.randint(0, 20, 5), np.random.randint(0, 20, 5)]) print('原始数据\n'a) print('...

2018-12-19 18:05:52

阅读数 374

评论数 0

Python3——numpu数组的四舍五入

在数据处理的时候常常会用到 四舍五入,有时候需要精确到十分位,有时候需要精确到十位,这时候可以用round(number, decimal=’?’)来实现,decimal 就是控制小数点移动的位数,左-右+。具体如下: import numpy as np a = np.array([1.136,...

2018-12-19 17:36:23

阅读数 198

评论数 0

Python3——异常

来介绍下简单的异常处理,语法如下 try:  需要检查异常的代码 except 异常名称:  异常处理 else:  没有异常则执行此代码块里的内容 finally:  不论有没有异常,都会执行此代码块里的内容 用一个读写文件的实例测试下: print('写文件'.center(20, '*'))...

2018-12-19 17:05:49

阅读数 36

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭