关闭

HashMap的简单实现

依据hashmap的原理,自己实现了一个简易版: public class MyHashMap { private int capacity; private double loadFactor = 0.8; private Entry[] table= null; private int size; public MyHashMap() { ...
阅读(50) 评论(0)

zk实现分布式锁

zk分布式锁的原理不做多述,直接上代码: 1、分布式锁的接口 public interface DistributedLock { /** * 获取分布式锁 * @return */ boolean dLock(); /** * 在一定时间内获取分布式锁 * @param time * @return ...
阅读(86) 评论(0)

java中的代理

对于java业务而言,通常会把主体业务和枝节性代码分开,比如做数据库更新的时候,会把事务的管理和真正的业务逻辑分开,这样既提高了管理类的使用效率,也降低了管理类和业务的耦合。类似的情况还有日志记录、信息监管等。 代理模式:为其它对象提供一种代理以控制对这个对象的访问。代理模式的角色: 抽象角色:声明真实对象和代理对象的共同接口代理角色:代理对象内部包含有真实角色的引用,从而可以操作真实...
阅读(71) 评论(0)

java 锁全面解析(二)

接着上篇java 锁全面解析(一) 四、java.util.corrent包 Lock接口及其实现提供了与synchronized关键字类似的同步功能,与synchronized关键字相比,缺少了隐式释放锁的便捷,但是拥有锁获取和释放的可操作性、可中断的获取锁以及超时获取锁等多种同步特性。 1、Lock具备的特性 1)尝试非阻塞地获取锁 2)能被中断的获取锁 3)超时获取锁 常见的使...
阅读(102) 评论(0)

java 锁全面解析(一)

熟悉Java使用的coder都知道,Java程序离不开多线程,而涉及到多线程时,就需要考虑资源的共享性问题,最终这一切都逃不过锁的命运。本次主要对Java中的锁做一些总结,包括: 一、Java内置锁synchronized 二、JDK 5中提供的java.util.concurrent.lock包中的Lock对象 三、Java ThreadLocal 为什么需要锁,相信小伙伴们都知道了,所...
阅读(93) 评论(0)

Spark学习

RDD的创建方式 1)从Hadoop文件系统输入创建,如HDFS,HIVE,HBase; 2)从父RDD转换得到新的RDD,如常见的transformation 3)通过parallelize或者makeRDD将单机数据转换为RDD 4)基于数据流创建,如kafka流; 从集合创建RDD 1、利用parallelize,函数是def parallelize[T](seq: Se...
阅读(86) 评论(0)

AOP之二三事

AOP(Aspect-Oriented Programming),面向且面的编程,与OOP仅一字只差,但他是OOP编程的一个补充。通俗来讲,就像是刀切面,应用程序视为一团面,用刀横向切面,所以接下来需要说如何实现刀。 1、写代码     写一个简单的接口 public interface Hello { void say(String msg); }   接口的实现类 publ...
阅读(56) 评论(0)

大数据学习七

SPARK 1、Spark的生态系统     Spark Core:engine     Spark SQL :交互式查询     Spark Streaming:流式计算     MLLib:机器学习和数据挖掘     GraphX:图计算 2、基本概念    RDD:分布式内存的一个抽象    DAG:有向无环图,反映RDD之间的依赖关系    Executor:运行在工作...
阅读(308) 评论(0)

大数据Hadoop学习六

1、Hadoop的改进     Hadoop 1.0到2.0的改进分为MapReduce和HDFS架构的演进。另一方面,不断加入kafka,spark,pig,tez等新的组件。     Hadoop2.0 针对HDFS涉及了HDFS HA,提供名称节点的热备份;     设计了HDFS Federation管理多个命名空间;     涉及了新的资源管理框架YEAR。 2、HDFS HA...
阅读(206) 评论(0)

大数据学习五

1、Hive是一个架构于Hadoop顶层的数据仓库工具,本身不具有存储处理数据的能力,某种程度上可以看作是编程接口。      Hive的存储依托于Hadoop底层的HDFS,数据处理依托于MapReduce,提供类似SQL的查询语句HQL。...
阅读(162) 评论(0)

Hadoop学习四

MapReduce的主要体系结构    1、Client     用户编写的MapReduce程序通过Client提交到JobTracker端,同时,Client提供一些接口供用户查看Job的运行情况。 2、JobTracker    JobTracker负责资源监控和作业调度    JobTracker监控所有的TaskTracker和job健康情况,一旦发现有异常,就将作业迁移到别的...
阅读(133) 评论(0)

Hadoop大数据学习三

1、HDFS文件的输入输出流      Configuration conf = new Configuration();       FileSystem fs = FileSystem .get(conf);       FSDataInputStream in = fs.open(new Path(uri));      FSDataOutputStream out = fs.cre...
阅读(104) 评论(0)

大数据hadoop学习

1、HDFS默认分块64M,一个文件可能被分成多个快存储。 2、HDFS的nameNode和dataNode      NameNode存储元数据,存储在内存中,保存文件、block、datanode之间的映射关系,起到数据目录的作用;     DataNode存储数据,文件保存到磁盘,维护了dataNode id 与本地文件映射关系。     NameNode的数据结构:FsImage,...
阅读(99) 评论(0)

Spring事务回滚

在前一篇文章中讲述了事务,以及spring事务的特性,以及spring事务的配置。接下来会说明什么时候spring会进行事务的回滚。 1、事务回滚     因为事务具有ACID特性,当在执行某个方法时,如果方法中有包含对数据库的插入或者更新操作,并且在当前事务上下文抛出了异常,spring会对已经进行的数据库操作“撤销”改变,恢复到原来的状态。 2、Spring事务工作原理    1)事务...
阅读(164) 评论(0)

Spring实战学习(五)

Ioc容器 Ioc容器主要完成了对象的创建和依赖的管理注入等;所谓控制反转,就是原先在代码中需要实现的对象创建、依赖,反转给容器帮忙实现。 Spring IOC容器抽象的几个主要接口: ResourceBeanDefinitionBeanDefinitionReaderBeanFactoryApplicationContextServletContextResource Inp...
阅读(92) 评论(0)
59条 共4页1 2 3 4 下一页 尾页
    个人资料
    • 访问:28575次
    • 积分:698
    • 等级:
    • 排名:千里之外
    • 原创:43篇
    • 转载:16篇
    • 译文:0篇
    • 评论:0条
    最新评论