2018年07月_逗点儿

原创慕课网日志分析实战三：需求实现代码

本来打算这一系列一直更下去，但是后来由于实习和秋招的问题一直耽搁，本来打算一切结束再继续更新这一系列，感觉评论有点多，CSND小透明受宠若惊。决定继续更新下去。在慕课日志分析这个项目我觉得说简单其实也并不简单，蕴含着很多日志处理的坑。说简单是因为大部分繁重的步骤，包括业务梳理，字段整合之类的，已经在前面帮咱们解决了，不需要学习者做什么，学习者只需要将数据进行简单分词，转化DF或DS写代码或者SQL...

2018-07-29 16:22:57 833 4

原创设计模式之单例模式

单例模式应用场景：有些对象只需要一个就足够了作用：整个应用程序的某个实例有且只有一个类型：饿汉模式、懒汉模式饿汉模式特点：.加载类比较慢，运行时获取对象速度比较快线程安全public class Singleton{ //1.构造方法私有化，不许外部直接创建对象 private Singleton() { ...

2018-07-28 20:22:59 148 1

原创 Spark Shuffle详解之SortShuffle

在Spark1.2版本之后，出现了SortShuffle，这种方式以更少的中间磁盘文件产生而远远优于HashShuffle。而它的运行机制主要分为两种。一种为普通机制，另一种为bypass机制。而bypass机制的启动条件为，当shuffle read task的数量小于等于spark.shuffle.sort.bypassMergeThreshold参数的值时（默认为200），就会启用bypas...

2018-07-24 23:35:27 8636 1

原创 Spark Shuffle详解之HashShuffle

概述所谓Shuffle就是将不同节点上相同的Key拉取到一个节点的过程。这之中涉及到各种IO，所以执行时间势必会较长，Spark的Shuffle在1.2之前默认的计算引擎是HashShuffleManager，不过HashShuffleManager有一个十分严重的弊端，就是会产生大量的中间文件。在1.2之后默认Shuffle改为SortShuffleManager，相对于之前，在每个Task...

2018-07-23 21:16:10 2045

原创 String,StringBuffer与StringBuilder的区别

转载自：https://blog.csdn.net/rmn190/article/details/1492013String 字符串常量StringBuffer 字符串变量（线程安全）StringBuilder 字符串变量（非线程安全）String简要的说， String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每...

2018-07-19 14:32:08 123

原创 Java集合学习4——HashMap深入理解

距离接触HashMap有一段时间，我对Java集合类有了更加深入的理解。通过jdk1.8和1.7的对比发现HashMap的优化进步。最大的特点就是HashMap1.7版本最大的问题就是有很低的概率会发生在散列表中一个链表的长度很长，使得其查询退化为O（n）复杂度。在1.8中，当链表长度大于8时，转化为红黑树。众所周知，红黑树是一种平衡二叉树，是不会存在这种问题的。同时，我们也是知道HashMa...

2018-07-17 00:25:39 261

原创 Mongo插入Json数据报错：Can't find a codec for class java.math.BigDecimal.

首先吐槽一下百度啊，百度了好久，还是找不到问题所在。幸好公司有外网，我抱着尝试的态度谷歌了一下，看了老外的博客才解决了这个问题。需求：我希望将Json插入到MongDB。1.方法一：我选择FastJson得到json数据，使用Document类包装，插入到mongdb中。 //将数据转换为json类 JSONObject jsonObject = JSON...

2018-07-11 16:48:29 16818 5

原创 IDEA构建 Spring Boot 入门：HelloWorld

新建项目 1. 2. 3. 项目构建完成，等待maven下载依赖，下载完毕，目录结构如下书写hello world代码代码如下:@RestController@EnableAutoConfigurationpublic class HelloWordController { @RequestMapping("/hello") p...

2018-07-04 19:09:03 184

原创 MongoDB下载安装教程 mac版

首先推荐选择Homebrew安装，听说是mac十分方便的应用管理工具，亲测也的确不错，不过我的mac版本低于10.0，MongoDB3.0以上版本对应mac10.0以下版本不兼容，于是我选择了手动安装，安装版本2.68,也就是我将要写的教程:下载安装包 MongoDB历史版本下载地址解压安装包tar -zxvf mongodb-osx-x86_64-2.6.8.tgz -C /Us...

2018-07-02 17:13:10 2875

weixin_39216383的博客