2018年08月_学习笔记cmj

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 zookeeper 共享锁问题—— 监听最小目录节点时，并准备向监听器列表中注册监听器时，最小目录节点被删除。

前言： zookeeper 分布锁的原来是如图：使用zookeeper 来实现分布式锁，发现一个问题，当客户端A线程发出命令删除最小的目录lock_001被删除时，并不会立刻删除，因为命令是通过网络协议传输过去的，中间会产生一定的时间段，虽然这个时间段很小很小，但是在这个时间段内会发生一件特殊的事：此时会有另外一个客户端B线程在A线程没有发送到z...

2018-08-29 16:38:04 885

原创 springboot 的默认配置文件在哪里？

我们都知道springboot的开发者，把一些我们常用的开发环境进行了默认的配置，拿这些配置文件在哪里呢，我们在开发springboot的项目时是依赖maven进行开发的。导入的依赖包都在 Maven Dependenceis 中在我们导入的依赖都是jar包，默认的配置信息存在包名字以 *-autoconfigure.jar 形式结尾的jar包中，springboot的默认配...

2018-08-24 13:37:59 9354

原创无聊看看了spring的源码，并画了uml图。

spring执行流程：1：加载spring.xml文件2：创建xml文件解析器3：获取命名空间，即在spring.xml文件中的 http://www.springframework.org/schema/context4：根据命名空间找到命名空间处理器，在命名空间处理器中包含多个属性解析器：{annotation-config=org.springframework.cont...

2018-08-22 11:53:13 3805 1

原创 java访问属性和访问方法的区别：

对象 . 访问方法与对象所属的实例类型有关，访问属性与对象引用类和线程所在类（就是当前线程所执行的当前类文件）有关。&对象访问方法：线程永远是从当前对象所属的实例类中找到对应的方法，如果不存在则会去父祖类中查找。public class A{ say(){ system.out.println("this is A"); } play()...

2018-08-22 11:10:31 3175

原创 Spark 之重新设置分区的个数repartition()。

业务需求：有事我们从hdfs上用spark 进行处理，很有可能在hdfs 有多个block ,spark就会默认有多少个分区，在经过我们自己的逻辑计算后，得到的最后的结果数据并不是很大，同时想把它输出为一个文件，同理相反想把她输出为多个文件，这时 repartition( num ) 就可以解决：demo: scala> var a = sc.paralleli...

2018-08-13 17:01:42 14616

原创 mysql exists 使用的意义

exists 方法判断存在，通常我们会碰到这种业务需求，查询A表中的字段的时候，查询条件涉及到了 B 表中的字段，比如：A表：id username password age1 dd 123 342 gg 234 ...

2018-08-12 23:45:44 2172

原创 Scala 设计下划线_ 的意义以及使用。

Scala中是这样定义下划线 _ 的： _ 代表 ‘’任意‘’在Scala语言中存在类型推理，就是有的时候你不必指定具体的类型，Scala语言会自动进行推测参数的类型是什么。比如： var a = "a" 这里Scala会自动推测他为 String类型。 var b = 2 这里Scala会自动推测他为Int类型那我们在Scala语言...

2018-08-03 11:58:03 517

原创 oracle 存储过程之 open 游标 for with t2 as ()

在项目中见到这样的存储过程代码：procedure procedure_name (out_param out cursorType, out_param2 out cursorType, in_param in cursorType)is sql varchar2(3200);begin open out_param for...

2018-08-01 16:06:27 11985 1