蒋含竹的博客

非淡泊无以明志,非宁静无以致远

Spark代码可读性与性能优化——示例六(GroupBy、ReduceByKey)

文章目录Spark代码可读性与性能优化——示例六(GroupBy、ReduceByKey)0. 需求:统计历年全国高考生中数学成绩前100名1. 数据示例2. 存在问题的代码示例3. 如何解决代码中的问题?4. 最终代码,以及附其他代码 Spark代码可读性与性能优化——示例六(GroupBy、R...

2019-05-16 02:03:10

阅读数 25

评论数 0

RustBook——Minigrep学习示例+注释

文章目录RustBook——Minigrep学习示例+注释1. 代码1.1 主程序代码 main.rs1.2 库 lib.rs2. 测试 RustBook——Minigrep学习示例+注释 1. 代码 1.1 主程序代码 main.rs use std::env; use std::process...

2019-05-12 00:07:21

阅读数 16

评论数 0

RustBook——Cacher学习示例+注释

文章目录RustBook——Cacher学习示例+注释代码测试 RustBook——Cacher学习示例+注释 代码 use std::collections::HashMap; use std::cmp::Eq; use std::hash::Hash; /// 缓存器结构体 /// calc...

2019-05-10 18:33:47

阅读数 12

评论数 0

FusionInsight平台——HBase客户端工具封装EveHBase

文章目录FusionInsight平台——EveHBase客户端工具封装简介项目地址ExamplesLICENSE FusionInsight平台——EveHBase客户端工具封装 简介 针对华为HBase封装的客户端EveHBase 支持普通客户端、安全模式客户端, 功能包括:建表、预分区、建...

2019-05-09 19:54:01

阅读数 24

评论数 0

Spark代码可读性与性能优化——示例五(HashJoin)

文章目录Spark代码可读性与性能优化——示例五(HashJoin)1. 内容点大纲2. 原代码3. 优化后的代码+注释 Spark代码可读性与性能优化——示例五(HashJoin) 1. 内容点大纲 数据集之间的Join 大数据集、小数据集 数据倾斜 减少Shuffle 更好的写法 flatM...

2019-04-26 00:10:26

阅读数 47

评论数 0

Scala方法和函数的本质区别——反编译解析

文章目录Scala的方法和函数有什么区别——反编译解析1. 方法-解析1.1 普通方法1.2 嵌套方法2. 函数-解析2.1 函数示例2.2 反编译结果2.3 函数反编译解析3. 为什么方法和函数可以相互转换?3.1 方法和函数混用示例3.2 方法与函数转换-解析3.3 混用示例-解析 Scala...

2019-04-15 23:32:43

阅读数 42

评论数 0

Spark代码可读性与性能优化——示例四

文章目录Spark代码可读性与性能优化——示例四1. 内容点大纲2. 原代码(来自GitHub)3. 优化后的代码+注释 Spark代码可读性与性能优化——示例四 1. 内容点大纲 更简洁的写法 易懂的写法 返回类型提示 本地打印提示 代码换行提示 占位符提示 *注意:和前面文章内容重复的不再做...

2019-04-15 00:35:06

阅读数 16

评论数 0

Spark代码可读性与性能优化——示例三

文章目录Spark代码可读性与性能优化——示例二1. 内容点大纲2. 原代码(来自GitHub)3. 优化后的代码+注释 Spark代码可读性与性能优化——示例二 1. 内容点大纲 无意义代码清除提示 数据本地获取提示 unpersist解除缓存优化提示 使用匹配模式的提示 代码简写提示 *注意...

2019-04-10 01:16:20

阅读数 19

评论数 0

Spark代码可读性与性能优化——示例二

文章目录Spark代码可读性与性能优化——示例二1. 内容点大纲2. 原代码(来自GitHub)3. 优化后的代码+注释 Spark代码可读性与性能优化——示例二 1. 内容点大纲 SparkConf可读性提示 Scala语法可读性提示 方法默认值提示 代码冗余写法提示 函数式写法提示 pers...

2019-04-06 13:51:48

阅读数 44

评论数 0

Spark代码可读性与性能优化——示例一

文章目录Spark代码可读性与性能优化——示例一1. 内容大纲2. 原代码(来自GitHub)3. 优化后的代码+注释 Spark代码可读性与性能优化——示例一 1. 内容大纲 SparkConf可读性提示 Scala语法可读性提示 mkString可读性提示 persist缓存性能优化提示 s...

2019-04-06 13:19:04

阅读数 44

评论数 0

RustBook——WebServer学习示例+注释

文章目录Rust——WebServer示例的学习+注释项目结构Main入口——main.rsLib库——lib.rsHtml文件——hello.html和404.htmlCargo配置——Cargo.toml和Cargo.lock Rust——WebServer示例的学习+注释 项目结构 - he...

2019-04-01 15:36:23

阅读数 59

评论数 0

概率编程——Figaro的基础示例

文章目录概率编程——Figaro的基础示例0. 导包1. 原子元素2. 复合元素3. 条件与约束 概率编程——Figaro的基础示例 0. 导包 import com.cra.figaro.algorithm.factored.VariableElimination import com.cra....

2019-03-20 22:51:08

阅读数 61

评论数 0

概率编程——Figaro的HelloWorld示例

文章目录概率编程——HelloWorld示例0. 导包1. 定义概率模型2. 推测方法3. Main 预测 概率编程——HelloWorld示例 0. 导包 import com.cra.figaro.algorithm.factored.VariableElimination import co...

2019-03-19 00:41:50

阅读数 49

评论数 0

集成学习——XGBoost

文章目录集成学习——XGBoost1. 导包2. 原始数据3. 数据预处理4. 构建XGBoost模型5. 随机森林效果对比 集成学习——XGBoost 1. 导包 from xgboost import XGBRegressor from sklearn.ensemble import Rand...

2019-03-18 22:09:22

阅读数 15

评论数 0

聚类算法——DBSCAN

文章目录聚类算法——DBSCAN1. 导包2. 原始数据3. 数据预处理4. 构建DBSCAN模型5. 聚类结果展示 聚类算法——DBSCAN 1. 导包 import numpy as np import matplotlib.pyplot as plt from sklearn import ...

2019-03-14 00:22:47

阅读数 22

评论数 0

集成学习——AdaBoost(自适应增强)

文章目录集成学习——Adaboost0. 原理1. 导包2. 原始数据3. 数据预处理4. 参照模型(决策树)5. 使用Adaboost 提升评分 集成学习——Adaboost 0. 原理 朴素的思想:将学习的重点放在出错的地方。 学习步骤:首先准备一份训练集X,对训练集进行有放回的随机抽样,用于...

2019-03-13 00:48:37

阅读数 31

评论数 0

逻辑回归——癌细胞预测示例

文章目录逻辑回归——癌细胞预测示例1. 导包2. 原始数据3. 数据预处理4. 构建逻辑回归模型5. 结果预测与评分 逻辑回归——癌细胞预测示例 1. 导包 import pandas as pd import numpy as np from sklearn.model_selection im...

2019-03-06 22:49:51

阅读数 114

评论数 0

决策树、随机森林——泰坦尼克号生死预测示例

文章目录决策树、随机森林——泰坦尼克号生死预测示例1. 导包2. 原始数据3. 数据预处理4. 使用决策树4.1 构建决策树模型4.2 结果预测与评估5. 使用随机森林5.1 构建随机森林模型5.2 结果预测与评估5.3 利用网格搜索和交叉验证 决策树、随机森林——泰坦尼克号生死预测示例 1. 导...

2019-03-05 11:29:38

阅读数 134

评论数 0

朴素贝叶斯——文章分类示例

文章目录朴素贝叶斯——文章分类示例0. 原理-公式推导1. 导包2. 原始数据3. 数据预处理4. 构建朴素贝叶斯模型5. 结果预测与评分 朴素贝叶斯——文章分类示例 0. 原理-公式推导 Venn图 因为 P(A∣B)=P(A⋂B)P(B)=&...

2019-03-03 23:11:54

阅读数 56

评论数 0

KNN分类算法——预测入住位置示例

文章目录KNN分类算法——预测入住位置示例1. 导包2. 原始数据3. 数据预处理4. 构建KNN模型5. 结果预测与评分 KNN分类算法——预测入住位置示例 1. 导包 import pandas as pd from sklearn.model_selection import train_t...

2019-03-02 23:40:27

阅读数 100

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭