![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
文章平均质量分 86
如序
问渠那得清如许,绝知此事要躬行。
展开
-
本地模式下(local),java连接spark调用scala语言打成的jar包
一,环境构建1、spark版本2、Scala语言打成的jar,因为Scala和java都是运行在jvm上的字节码类语言,java可以直接调用。,当然该包中包含了一些算法,LR、GBDT、决策树、随机森林,以便于数据的训练。3、maven webapp项目,pom引入包如下: <!-- Begin:spark包 --> <dependency>...原创 2018-03-23 16:49:57 · 1845 阅读 · 1 评论 -
MachineLearning in Action (机器学习实战)源码和数据集下载地址
https://github.com/pbharrin/machinelearninginaction原创 2018-06-07 17:48:49 · 4379 阅读 · 0 评论 -
SparkSubmit.main()方法提交外部参数,远程提交standalone集群任务
一、官方文档描述 二、引入pom【注意版本问题】 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2....原创 2018-08-28 17:52:07 · 9483 阅读 · 3 评论 -
Elasticsearch数据备份到Hadoop的hdfs,增量定时一天一次
0 环境介绍 Elasticsearch:6.4.2 Hadoop:2.7.6 提前准备好数据,在ES中创建相应的index和type,并创建document。 1 两种方案:硬编码与配置 采用编码的方式,引入es-hadoop.jar包 将elasticsearch-hadoop引入项目。 引入jar <project xmlns="http:...原创 2018-11-02 14:11:32 · 3806 阅读 · 1 评论