2018年07月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

翻译 [GC进阶]--调优JVM

英文原文：https://www.oracle.com/technetwork/articles/java/g1gc-1984535.html该垃圾首先垃圾收集器（GC G1）是Java HotSpot虚拟机的低暂停，服务器风格的分代垃圾收集器。G1 GC使用并发和并行阶段来实现其目标暂停时间并保持良好的吞吐量。当G1 GC确定需要进行垃圾收集时，它会首先收集具有最少实时数据的区域（垃圾优先）...

2018-07-31 15:39:34 776 1

原创 [Go基础]--Go是怎么来的？

1、pthread是包在OS线程外的。2、light-weighted thread需要用到用户态线程。3、微软的fiber是用户态的，但是因为是windows世界的，不怎么招人待见。4、在多核上做用户态线程是一件非常非常恶心的事情，GO最主要的贡献其实就是把这件事做成了。主要的恶心之处就是怎么处理job stealing:一个操统线程上面的任务都跑完了，就需要去别的操统线程那...

2018-07-31 15:26:13 287

转载 [Spark进阶]--Spark on Yarn: Where Have All the Memory Gone?

感谢原文作者：http://www.wdong.org/spark-on-yarn-where-have-all-the-memory-gone.htmlEfficient processing of big data, especially with Spark, is really all about how much memory one can afford, or how effic...

2018-07-31 14:48:24 650

转载 [算法基础]--时间复杂度和空间复杂度

感谢原文作者：https://blog.csdn.net/zolalad/article/details/11848739算法的时间复杂度和空间复杂度-总结通常，对于一个给定的算法，我们要做两项分析。第一是从数学上证明算法的正确性，这一步主要用到形式化证明的方法及相关推理模式，如循环不变式、数学归纳法等。而在证明算法是正确的基础上，第二部就是分析算法的时间复杂度。算法的时...

2018-07-24 18:21:08 3569

转载 [大数据面试]--智力题(2)

感谢原文作者：https://blog.csdn.net/wuzhekai1985/article/details/67023541．有两根不均匀分布的香，香烧完的时间是一个小时，你能用什么方法来确定一段15分钟的时间？答：把两根香同时点起来，第一支香两头点着，另一支香只烧一头，等第一支香烧完的同时（这是烧完总长度的3/4），把第二支香另一头点燃，另一头从燃起到熄灭的时间就是15分！2．一个...

2018-07-23 17:22:44 1217 1

转载 [大数据面试]--智力题(1)

感谢原文链接：https://blog.csdn.net/wuzhekai1985/article/details/6699158 1．一个粗细均匀的长直管子，两端开口，里面有4个白球和4个黑球，球的直径、两端开口的直径等于管子的内径，现在白球和黑球的排列是wwwwbbbb，要求不取出任何一个球，使得排列变为bbwwwwbb? 答案：切下管子的bb端，装到另一端，遂成BBWWWW...

2018-07-23 17:21:33 587

转载 [Hadoop基础]--HDFS的读写流程和原理

感谢原文作者：https://www.jianshu.com/p/29ebfbd766e6根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS的存储机制与运行原理。1、构成部分HDFS存储相关角及功能如下：Client：客户端，系统使用者，调用HDFS API操作文件;与NN交互获取文件元数据;与DN交互进行数据读写。Namenode：元数据节点，是系统唯一...

2018-07-16 15:56:14 2030

原创 [Spark进阶]--Spark Streaming Backpressure 分析

一、参考说明1、该功能自spark-1.5.0版本后有，发行说明https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=123320782、对应的Spark提交文档：https://github.com/apache/spark/pull/8656/files#r38...

2018-07-16 15:46:12 5691

原创 [Scala基础]--Scala构建超过22个元素的class

一、背景1、case class的元素超过22个以后即会编译报错2、有些业务场景下，需要超过22个元素的值二、如何解决Scala提供了解决方案，即使用类实现Product特质三、举例package com.ngaa.scala/** * @author Created by yangjf on 20180712. * Update date: * T...

2018-07-13 15:21:38 4158

转载 [Scala基础]--包对象

感谢原文作者：https://my.oschina.net/aiguozhe/blog/35202?p=1 Scala 2.8提供包对象（package object）的新特性。什么是包对象呢？按我的理解，根据Scala“一切皆对象”设计哲学，包(package)也是一种对象。既然是对象，那么就应该有属性和方法，也可以在包对象内声明某个类型的别名。举个例 package com{ packa...

2018-07-12 15:55:24 516

转载 [Kudu基础]--Kudu+Impala介绍 | 微店数据科学团队博客

感谢原文作者：https://juejin.im/entry/5a72d3d1f265da3e4d730b37Kudu+Impala介绍概述Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目。Kudu作为底层存储，在支持高并发低延迟kv查询的同时，还保持良好的Scan性能，该特性使得其理论上能够同时兼顾OLTP类和OLAP类查询。Impala作为老牌的SQL解析引擎，其面...

2018-07-10 17:14:48 13489

原创 [maven基础]--maven dependency scope

英文原文：https://maven.apache.org/guides/introduction/introduction-to-dependency-mechanism.htmlDependency scope is used to limit the transitivity of a dependency, and also to affect the classpath used for...

2018-07-10 14:44:42 442

翻译 [Spark版本更新]--Spark-2.3.1发布说明

2018-09-08 Apache Spark 官方发布了Spark 2.3 的小版本--2.3.1，Release Notes 如下：Sub-task[ SPARK-23706 ] - spark.conf.get（value，default = None）应该在PySpark中产生None [ SPARK-23748 ] - 支持从临时表中选择 [ SPARK-23942 ] - ...

2018-07-03 16:03:49 1432