Cool0-CSDN博客

原创 LeetCode: Remove Duplicates from Sorted Array

Remove Duplicates from Sorted Array 从有序数组中删除重复元素。基本题目 26. Remove Duplicates from Sorted Array 题目：从有序数组中去除重复元素。如 [1,1,1,2,2,3] => [1,2,3] 思路：维护指针j，表示数组去重后最后一个元素的位置，初始-1。 def removeDuplicates(self, nums: List[int]) -> int: if len(nums) == 0:

2020-07-29 02:05:41 137

原创 maven打包之assembly和shade对比

maven打包对比 java项目少不了第三方依赖，当使用mvn作为项目管理工具时，可以使用assembly和shade插件打包。 assembly和shade对比 assembly的优点 thin jar 如果打fat jar，所有相关的类（含依赖）会被打进一个jar包，此时的问题是这个包除了比较大外，还失去了通过替换jar包更新程序的灵活性。assembly不会将依赖的jar包合并，仅仅是将它们放在一个压缩包中。打包脚本，配置文件等 assembly除了打包依赖外，还能include用户定义的目

2020-07-28 01:21:12 3253

原创 scala object 单例实现——字节码分析

scala object 单例实现——字节码分析 scala中天然支持单例，一个类可以声明为class或object。当声明为object后我们就可以拿它当单例使用了。虽然可以简单将object中的字段或方法理解为java中的static，还是想了解下字节码层面如何做到的。 scala 定义如下单例测试 object Single { var f1=10 val f2="Test" def add(a: Int, b: Int): Int = a + b def sayHi(name: St

2020-07-24 01:12:56 258

原创 spark读写 es

spark读写es 官方文档：https://www.elastic.co/guide/en/elasticsearch/hadoop/6.7/configuration.html mvn依赖我这里使用的版本如下：名称版本 spark 2.3.0 es 6.7.0 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-

2020-07-17 18:24:25 1353

原创深度优先，广度优先搜索——代码简单易懂

深度优先，广度优先搜素深度优先搜索是一种遍历方式，不局限在树或是图中，还可以用其解决很多层级关系的问题。网上关于dfs介绍代码都很多了，但个人感觉不够直观，这里再介绍下数据结构： class Node: data = "" neighbors = [] def __init__(self, data, neighbors=None) -> None: if neighbors is None: neighbors = []

2020-07-17 01:26:28 489

原创从Spark序列化问题理解闭包

从Spark序列化问题理解闭包问题描述在一次开发中，遇到这个问题 Caused by: java.io.NotSerializableException: Object of org.apache.spark.streaming.kafka010.DirectKafkaInputDStream is being serialized possibly as a part of closure of an RDD operation. This is because the DStream object

2020-05-19 23:13:27 865

原创 Java，Scala中的闭包与内部类

spark等程序中，可能会遇到闭包序列化问题，想要从根本上理解和解决这些问题，需要理解何为闭包，闭包范围如何确定。

2020-05-19 22:14:47 318

Cool0的博客