- 博客(9)
- 资源 (9)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark -- Spark的smote算法，非平衡数据处理示例
向导介绍代码github参考代码修改后代码结果根据我司需求的一个完整代码测试数据完整代码结果介绍 相关的理论，和代码可以参考：https://www.cnblogs.com/little-horse/p/11241168.html，这个参考代码我看了感觉有点偏老和偏复杂，于是找了另外一个版本。 spark的issues:https://issues.apache.org/jira/bro...
2020-03-26 16:47:22
1856
1
原创 SparkML -- LightGBM On Spark 导出pmml示例
向导MAVEN测试数据代码示例，以二分类为例结果MAVEN<dependency> <groupId>org.jpmml</groupId> <artifactId>jpmml-sparkml</artifactId> <version>1.5.0</version><!-- ...
2020-03-23 15:17:04
1062
1
原创 SparkML -- LightGBM On Spark 重要性LightGBMRanker示例
向导MAVEN测试数据代码示例结果MAVEN<dependency> <groupId>com.microsoft.ml.spark</groupId> <artifactId>mmlspark_2.11</artifactId> <version>0.18.0</version>...
2020-03-23 15:10:25
2053
4
原创 SparkML -- LightGBM On Spark 回归LightGBMRegressor示例
向导MAVEN测试数据代码示例结果MAVEN<dependency> <groupId>com.microsoft.ml.spark</groupId> <artifactId>mmlspark_2.11</artifactId> <version>0.18.0</version>...
2020-03-23 15:05:54
1642
3
原创 SparkML -- LightGBM On Spark 二分类LightGBMClassifier示例
向导MAVEN测试数据代码示例结果MAVEN<dependency> <groupId>com.microsoft.ml.spark</groupId> <artifactId>mmlspark_2.11</artifactId> <version>0.18.0</version>...
2020-03-23 15:03:35
2863
14
原创 SparkML -- LightGBM On Spark
向导介绍MML介绍 LightGBM是使用基于树的学习算法的梯度增强框架。它被设计为分布式且高效的，具有以下优点：训练速度更快，效率更高。降低内存使用率。更好的准确性。支持并行和GPU学习。能够处理大规模数据 LightGBM比XGBoost快将近10倍，内存占用率大约为XGBoost的1/6，并且准确率也有提升。官网地址：https://lightgbm.readthed...
2020-03-23 14:32:08
2485
原创 SpringBoot -- 通过简单的修改配置修改连接的数据库
向导背景方案SpringBoot篇单数据源情况1.通过spring.profile.active控制2.通过指定的配置参数决定数据源多数据源情况Spring篇背景 项目要求，开发环境使用postgres数据库，给客户部署时使用oracle，而只需要修改一个配置来完成。方案对于单数据源，保证容器中只有一个DataSource。对于多数据源，保证需要灵活变化的那个DataSource容器...
2020-03-22 11:58:03
5280
原创 Spark -- 对DataFrame增加一列索引列(自增id列)
向导Spark DataFrame 添加自增id利用RDD的 zipWithIndex算子使用SparkSQL的functionSpark DataFrame 添加自增id 在用Spark 处理数据的时候，经常需要给全量数据增加一列自增ID序号，在存入数据库的时候，自增ID也常常是一个很关键的要素。在使用mmlspark的LightGBMRanker时也需要指定一列int/long类型的id...
2020-03-17 15:44:24
6198
1
原创 EasyExcel -- easyexcel的下载和自定义单元格合并
向导1. 介绍2.需求3.代码3.1 pom3.2 Controller3.3 ExcelUtil代码3.4 BizMergeStrategy代码3.5 ExcelDto代码3.6 RowRangeDto代码1. 介绍 EastExcel是Alibaba的开源工具，比POI更加快速高效，使用起来也简单。 官网地址为：https://alibaba-easyexcel.github.io/...
2020-03-16 23:02:17
20083
39
HeimaCodeUtil 代码生成器
2019-10-18
hadoop-bin winutils 2.6.4，x64版本
2018-12-28
hadoop-bin winutils 3.0.0，x64版本
2018-12-28
hadoop-bin winutils 2.6.3，x64版本
2018-12-28
hadoop-bin winutils 2.6.0，x64版本
2018-12-28
hadoop-bin winutils 2.8.3，x64
2018-12-28
hadoop-bin winutils 2.8.1，x64
2018-12-27
hadoop-bin winutils 2.7.1，x64
2018-12-27
Spark Task卡住的问题、Scheduler Delay 很长的问题
2019-02-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人