2018年07月_爆发的~小宇宙

原创 MyBtais错误：Cause: org.apache.ibatis.type.TypeException: Could not resolve type alias

Caused by: org.apache.ibatis.builder.BuilderException: Error parsing Mapper XML. Cause: org.apache.ibatis.builder.BuilderException: Error resolving class. Cause: org.apache.ibatis.type.TypeException: ...

2018-07-31 11:20:24 15600

原创 The file will have its original line endings in your working directory.

错误描述在使用git提交的时候出现The file will have its original line endings in your working directory.错误，后来发现自己再提交的时候忘记输入git add 上传的文件出现了上面的错误，需要下面进行修改：1 git rm -r -f --cached ./ (删除缓存)2 git add . （添加该目录下...

2018-07-29 15:54:41 17598 4

原创使用Broadcast变量与map类算子实现join操作，进而完全规避掉shuffle类的操作

概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。该篇博客参考美团的spark高级版，使用scala代码进行简单的模拟。方案适用场景在对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个...

2018-07-27 13:55:22 3991

原创 Spring注解：@RequesMapping、@PathVariable 、@RequestParam、@RequestHeader

@RequesMapping除了修饰方法，也可以修饰类类定义处：提供初步的请求映射信息，相当于web应用的根目录，表示类中的所有响应请求的方法都是以该地址作为父路径。方法定义处：提供进一步的细分映射信息，访问该类中的某个方法时，需要通过定义的类路径加方法路径，如果类路径没有定义，直接通过方法定义的路径即可。@RequestMapping 的 value、method、params ...

2018-07-26 15:18:08 727

原创 Spring boot 入门以及搭建简单的Hello World

1 简介Spring Boot是目前很红火的开发工具了，它是用来简化Spring应用开发，约定大于配置，去繁从简，能够创建一个独立的、产品级别的应用。2 产生背景说到Spring Boot不得不说到微服务，微服务其实是一种架构风格，他是一组小型服务，这些小型服务通过http的形式进行访问，每一个小型服务相当于各个功能，相当于把一个项目拆分为一个一个的模块进行独立开发。微服务文档 ...

2018-07-24 23:45:19 354

转载树的高度，深度，层数

申明：本文高度，深度基数为1，但是在《数据结构与算法分析:java语言描述》这本书上，高度，深度的基数为0；两种记法都没有错，都可以用来描述树的性质，只需要标注（>0）或者(>=0)做一个区分和解释即可节点n的高度n节点到叶子节点所有路径上包含节点个数的最大值。叶子节点的高度为1，往上节点的高度依次递增。节点n的深度从根节点到节点n唯一的路径的长，根节点深度为1...

2018-07-24 18:17:11 9389

原创两阶段聚合（局部聚合+全局聚合）解决groupby产生数据倾斜的简单案例

1概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。该篇博客参考美团的spark高级版，只是修改了代码使用了scala写的。2产生原因方案适用场景：对RDD执行reduceByKey等聚合类shuffle算子或者在Spark SQL中使用...

2018-07-20 14:38:12 3648

原创 java中从内存区域和类加载机制理解类变量、成员变量和局部变量加载过程

1 定义1.1 类变量归属类的变量，它是通过在定义类的属性的时，增加static修饰符，所以又称为静态变量。类变量不仅可以直接通过类名.变量名来访问，也可以通过类对象.变量来访问.1.2成员变量归属于类的实例的变量，没有经过static修饰,成员变量存在于类之内，方法和代码块之外。实例变量只能通过类对象.变量访问。 1.3局部变量是在类中方法体里面所定义的变量，不管...

2018-07-20 10:39:37 1776

原创 flume对接kafka产生的错误org.apache.flume.conf.ConfigurationException: brokerList must contain at least one

环境flume-1.6.0-cdh5.7.0-bin kafka_2.11-0.10.0.1错误圈出来的日志信息明显提示我们因为配置文件的错误导致我们sink挂了，所以产生下面的错误，org.apache.flume.conf.ConfigurationException: brokerList must contain at least one Kafka broker ...

2018-07-11 23:09:22 3918

原创 Hadoop总结篇及面试常考点

1 概述学了那么久的hadoop，到底什么是hadoop呢？先来说说我的理解，从广义上说他可以代表hadoop整个生态圈例如，hive，spark，hbase，zookeeper等等一系列框架。从狭义上说他是一个，他是分布式的，可扩展的，高可用的计算框架，由hdfs，mapreduce，yarn组成（hadoop1.x只有hdfs，mapreduce）。该篇博客只进行整体思路的介绍...

2018-07-11 16:18:30 1589 1

原创 static修饰的方法不能被重写可以被继承以及抽象类中不能有静态的抽象方法

这篇文章介绍了什么事抽象类今天我们谈谈为什么抽象类中不能有静态的抽象方法以及static修饰的方法不能被重写可以被继承1 static修饰的方法不能被重写可以被继承我们知道static修饰的方法为静态方法，可以直接使用类名.方法名进行调用，即该方法不属于某个对象属于该类。我们根据下面的例子在看看static修饰的方法是否可以被重写：public class Static...

2018-07-11 10:40:29 5905 6

原创 IDEA导入Spring Boot项目出现Whitelabel Error Page错误

今天在SVN上拉去项目导入到Idea的时候启动时，打开界面出现Whitelabel Error Page，如下图所示：网上说的一种方式是因为Spring Boot默认使用嵌入式Tomcat，默认没有页面来处理404等常见错误。因此，为了给用户最佳的使用体验，404等常见错误需要我们自定义页面来处理。这里我并不是这个问题，大家也可以去试试。我的解决方式：在IDEA中RUN—>Ed...

2018-07-05 15:58:50 4956 2

原创 Docker详解

1 概述Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。下面来看看官网给我们的解释：Docker - Build, Ship, and Run Any App, Anywhere官方地址这句话我们就能想到一些简单的场景：场景一：...

2018-07-05 10:58:20 2600