齐天大圣数据候的博客

学习大数据,分享大数据经验

scala机器学习实战(三) 保险数据预测分析(LR算法详解)

LR算法详解 前言   前景提要,前两篇文章,借助于Scala Machine Learning Projects一书,利用保险服务的数据,进行了保险行业数据的预测分析,第一篇文章分别用了三种不同的算法进行相同数据的测试,来对比三种算法的模型性能;第二篇则详细通过LR实例解释了spark机器学习中...

2019-03-19 17:51:32

阅读数 1001

评论数 0

scala机器学习实战(二) 保险数据预测分析(代码参数详解)

scala机器学习实战(二) 保险数据预测分析(代码参数详解)   前言   上一次的内容分享主要给出了基于保险数据的三种机器学习算法不用的应用流程。主要以代码展示和结果对比为主,本篇文章,笔者将详细解释代码中出现的各个参数的意义   代码实例(只展示算法应用部分,全部代码请移步...

2019-03-19 11:06:36

阅读数 94

评论数 0

scala机器学习实战(一) 保险数据预测分析

scala机器学习之保险数据预测分析  数据资料来源:  此文章数据内容来源于Scala Machine Learning Projects 2018版 一书,本书分为是一个章节,本文章内容来自于第一章节 书本链接:Scala Machine Learning Projects 文...

2019-03-18 17:16:26

阅读数 181

评论数 0

k8s学习总结

rancher2.0、k8s简介及其环境搭建 一、rancher学习总结 docker是什么 Docker是一个开源的引擎,可以轻松的为任何应用部署一个轻量级的、可移植的、自给自足的容器。 Docker常用于一下几种场景: - web应用的自动化打包和发布; - 自动化...

2018-07-12 15:26:10

阅读数 5524

评论数 0

区块链技术之Fabric逻辑架构详解

一、架构图 该图出自区块链技术指南一书,架构解释也主要出自于本书,有兴趣的同学可以去自行找一找资源。 如图所示:fabric的底层主要由四种服务构成,分别是:身份服务、策略服务、区块链服务、智能合约服务。在这些基础服务之上,通过一些API、SDK、CLI为上层业务应用提供一些可以编程的接口...

2018-05-23 22:12:52

阅读数 2930

评论数 0

Scala转化mysql中的BigDecimal数据类型

1.将mysql的数据通过JDBC连接读到本地 val jdbcDF: DataFrame = sQLContext.read.jdbc( url, tablename, columnName,//按照mysql的某一列进行分区 lowerBound, upperBoun...

2018-01-30 14:09:16

阅读数 1215

评论数 2

构建数仓基本技术知识(二) ——————————DW/BI高级技术知识

DW/BI高级技术知识   高级事实表技术     事实表代理键       代理键可以用作所有维度表的主键。还可以使用单列代理事实键,不与任何维度关联的事实表代理键,是在ETL加载过程中顺次分配,可用于作为事实表的唯一主键列;ETL中,用作事实表的直接标识符,不必查询多个维度;允许将事...

2019-05-21 11:19:38

阅读数 11

评论数 0

构建数仓基本技术知识(一) ——————————DW/BI基本知识

DW/BI基本知识      基本知识    维度建模    需求:     1.以商业用户理解的方式发布数据     2.提供高效的查询性能   星型模型和OLAP多维数据库     关系型数据库实现的维度模型成为星型模式,结构类似于星型结构;多为数据库中的维度模式通常称为联机分析处理(OL...

2019-05-20 14:33:55

阅读数 56

评论数 0

spark编程模型第三部曲——RDD的创建和转换

此经验来源于《图解Spark核心技术与案例》一书,书挺不错的,有需要学习的可以去看看。   接着上回说到的RDD接口往下说,上回简单的通过举例将RDD的一些常用借口展示了一下,咱们此篇文章将主要解释一下RDD的创建和转换,同样,主要也会是文字解释加代码实操。   目前创建RDD主...

2018-09-11 18:17:13

阅读数 137

评论数 0

spark编程模型二之RDD的编程接口

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/flyinthesky111/ar...

2018-09-10 12:49:43

阅读数 164

评论数 0

Spark核心之编程模型详解

  此次经验分享共分为两部分,上部分主要偏向理论介绍,下部分更偏向代码实操 此经验来源于《图解Spark核心技术与案例》一书,书挺不错的,有需要学习的可以去看看。 一、整体介绍   最近几十年,随着计算机行业和互联网的发展,数据量也得到了爆发式的增长,以往的单台机器去处理数据的能力远远满...

2018-09-08 14:46:29

阅读数 656

评论数 0

Navicat连接orcale数据库存入blob字段

针对大部分人使用orcale数据库时采用的链接工具是PLSQL的问题,此处针对的是Navicat连接orcale数据库解决blob字段的存储问题。 一、建议带有blob字段的资源表 二、选择对象下方的下拉菜单按钮 三、选择查看 –》图像之后,下方就会出现如下对话框 四、选择blo...

2018-04-24 15:04:03

阅读数 519

评论数 0

spark源码分析之Partitioner

一、源码下载以及安装阅读 这部分可以看我写的第一个源码分析的开始,有说明,比较简单,附上链接http://blog.csdn.net/flyinthesky111/article/details/79379309 二、源码分析 打开org.apache.spark.Partitione...

2018-02-27 14:56:57

阅读数 78

评论数 0

spark源码分析之dependency

一、源码下载以及安装阅读 这部分可以看我写的第一个源码分析的开始,有说明,比较简单,附上链接http://blog.csdn.net/flyinthesky111/article/details/79379309 二、源码分析 打开org.apache.spark.Dependency....

2018-02-27 14:19:44

阅读数 134

评论数 0

spark源码分析之spark-hive

继续看源码 这里详细说一下spark-hive的源码 一、源码下载以及用idea打开 附上我第一次写的链接,前面有 仔细说,大多数人应该都知道怎么弄http://blog.csdn.net/flyinthesky111/article/details/79379309 二、源码分析 废话...

2018-02-27 10:52:49

阅读数 158

评论数 0

spark源码分析之sparkcontext

一、源码下载以及安装阅读 这部分可以看我写的第一个源码分析的开始,有说明,比较简单,附上链接http://blog.csdn.net/flyinthesky111/article/details/79379309 二、源码阅读以及分析 老规矩,先看总体注释,看完对sparkcontext就有...

2018-02-26 18:09:14

阅读数 72

评论数 0

spark源码分析之sparkconf

一.源码下载以及打开 下载源码时直接从spark官网去下载就行,这里附上地址http://mirrors.shu.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1.tgz。源码从官网下载后保存到本地后解压,再用idea 打开解压后的文件就可以进行源码阅读了。...

2018-02-26 17:00:02

阅读数 563

评论数 0

史无前例详细从零开始安装Hadoop集群

1.安装一个VM虚拟机管理工具。(这个网上自行下载,傻瓜式一键安装就好) 2.配置VM的环境 2.1配置Windows中vmnet8网卡的ip配置 3.创建一个虚拟机(空白的虚拟机,稍后用自己的ISO镜像文件装系统) 4.安装Linux的虚拟机系统(虚拟机的设置中按照如下进...

2018-02-02 11:17:39

阅读数 219

评论数 0

spark 机器学习一 聚类算法案例小结

最近公司需要用到机器学习做项目,本菜鸟就得去研究研究怎么回事 这个案例是网上找的一个聚类算法的案例,自己敲了敲,写写 先上训练数据 0.0 0.0 0.0 0.1 0.1 0.1 0.2 0.2 0.2 5.0 5.0 5.0 ...

2018-01-31 19:51:23

阅读数 573

评论数 1

elasticsearch在虚拟机如何以root用户启动的问题详解

如题,我在学习ES的时候,在Linux虚拟机启动ES的时候,以root用户启动,报错了,告诉我不能以root用户启动。网上一查,是由于ES的安全机制导致的,查了解决办法,具体命令如下 bin/elasticsearch -Des.insecure.allow.root=true 按照网上的...

2018-01-30 19:09:18

阅读数 914

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭