- 博客(70)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Zookeeper分布式锁实现
基于Zookeeper原生态的客户端类实现分布式是非常麻烦的，我们使用apahce 提供的一个Zookeeper客户端来实现。再来看看释放锁的流程，Zookeeper 「客户端业务完成或者故障」，都会删除临时节点，释放锁。是不是最小的，发现自己不是最小的，就获取锁失败。是不是排序最小的那一个，如果是，则成功获得锁。下面的所有临时顺序子节点，判断自己的节点。下面的所有临时顺序子节点，判断自己的节点。下面的所有临时顺序子节点，判断自己的节点。它也是不会甘心的，它会向在它前面的节点。获取锁失败，它是不会甘心的，
2024-11-01 11:06:43
708
原创 通过代码带你了解简单工厂模式和工厂模式
第一个静态工厂模式：在实际去开发中会发现比较常用，尽管上面讲了不符合（面向对象）OOP原则。第二个工厂方法模式：不修改工厂类的前提，也就是说不修改已有类，实现对扩展是开发，对修改关闭。还有三个工厂模式：抽象工厂模式，下次单独拿出来讲。
2024-07-26 14:24:26
328
转载 OpenSAML
一、背景知识： SAML即安全断言标记语言，英文全称是Security Assertion Markup Language。它是一个基于XML的标准，用于在不同的安全域(security domain)之间交换认证和授权数据。在SAML标准定义了身份提供者(identity provider)和服务提供者(service provider)，这两者构成了前面所说的不同的安全域。 SAML是OASIS组织安全服务技术委员会(Security Services Technical Committe...
2021-06-06 18:07:27
1337
1
原创 JaCoCo计算代码覆盖率原理
官网地址:http://www.eclemma.org/jacoco/JaCoCo 是一个非常常用的计算代码覆盖率的工具. 达到的效果就是可以分析出在代码启动到某个时间点那些代码是执行过的, 哪些代码是从没执行的, 从而了解到代码测试的覆盖程度.支持类级别, 方法级别, 行级别的覆盖率统计. 同时也支持分支级别的统计.下图是官网的截图, 绿色代表已执行, 红色代表未执行, 黄色代表执行了一部分, 下方还有在一个类, 一个包的覆盖率的比例. 非常直观了.实现原理如果我们接到这个需求我们会怎.
2021-01-28 23:07:20
2140
原创 jacoco+maven+sonar+springboot 单元测试代码覆盖率统计
如题，你能看到本文，说明你应该对本文涉及的框架和组件已经初步了解。总的来说，本文所述集成方案是对代码的单元测试用例执行覆盖率进行检测统计，主要是用来对开发人员单元测试用例编写程度的一种检测。其整体过程大概可以分为：1、使用 jacoco 代理，在 maven 执行之前植入 jacoco 代理。2、maven 对项目进行编译打包，并自动执行单元测试用例（如 junit）。3、测试用例执行过程中，jacoco 代理会记录代码执行的所有行信息，生成记录文件 （target/jacoco.exec）。
2021-01-26 23:19:13
2424
1
原创 idea开发工具使用技巧(持续更新...)
1、优秀插件集合：https://blog.csdn.net/qq_39135287/article/details/1000561182、IDEA中的Rename和Rename File使用详解https://blog.csdn.net/sinat_37022434/article/details/109669810
2020-12-27 14:29:01
217
转载 window.showModalDialog以及window.open用法简介
转自：http://www.cnblogs.com/zhangyi85/archive/2009/09/03/1559594.html 谢谢原作者 一、window.open()支持环境： JavaScript1.0+/JScript1.0+/Nav2+/IE3+/Opera3+二、基本语法：window.open(pageURL,name,parameters) 其
2015-07-02 21:45:29
529
转载 MyEclipse 中Tomcat部署项目：Undefined exploded archive location
今天下午一个工程突然不能部署了,myeclipse提示Undefined exploded archive location昨天在工程项目的调试中，突然发现项目不能部署了。错误信息为： Undefined exploded archive location原因： 在工程转移过程中，导致工程的配置文件出错；解决方法：
2015-02-01 17:21:11
769
原创 PLSQL使用技巧(持续补充...)
工欲善其事，必先利其器，PLSQL使用技巧(持续补充...)1、PL/SQL Developer记住登陆密码 在使用PL/SQL Developer时，为了工作方便希望PL/SQL Developer记住登录Oracle的用户名和密码； 设置方法：PL/SQL Developer7.1.2 ->tools->Preferences->Oracle->Logon His
2014-11-22 14:39:57
1315
转载 hadoop 2 包结构及包功能大致介绍
一、概述hadoop2的设计细想比hadoop1进步了很多，毕竟hadoop1是几年前的东西了。软件设计的理论在这几年中发展很快，出现了很多的软件设计理论 如：领域驱动模型、事件驱动模型、状生命周期管理等，也出现了很多的开源的解决方案，当然开源的方案很多都是起源apache社区。在hadoop2中，采取了maven的工程管理结构，把以前的单一工程换成了多工程结构模式，现在估计有45个（
2014-05-07 22:39:26
897
转载 Java线程池管理及分布式Hadoop调度框架搭建
订阅云计算RSSCSDN首页> 云计算 Java线程池管理及分布式Hadoop调度框架搭建 来源个人博客| 2 条评论| 作者Lanceyan摘要：多线程一直不是件容易的事情，然而开发过程却又经常碰到，有时甚至还会被作为考校程序员实力的一个指标。这样一来，多线程已然成为一道必须迈过的砍！【编者按】多线程是程序员面试时常常会面对的问题，对多线程
2014-04-16 22:38:45
995
转载 Hadoop示例程序WordCount详解及实例 .
1.图解MapReduce 2.简历过程：Input:Hello World Bye WorldHello Hadoop Bye HadoopBye Hadoop Hello HadoopMap:Sort:Combine
2014-04-16 22:33:10
1278
转载 Hadoop中Writable和WritableComparable区别
Hadoop的key和value的传递序列化需要涉及两个重要的接口Writable和WritableComparable1> Writable：Java代码 void write(DataOutput out) throws IOException; void readFields(DataInput in) throws IOException;
2014-04-16 22:10:55
6109
1
转载 Hadoop WritableComparable接口
WritableComparable接口Writable接口大家可能都知道，它是一个实现了序列化协议的序列化对象。在Hadoop中定义一个结构化对象都要实现Writable接口，使得该结构化对象可以序列化为字节流，字节流也可以反序列化为结构化对象。那WritableComparable接口是可序列化并且可比较的接口。MapReduce中所有的key值类型都必须实现这个接口，既然是可序列化的那就
2014-04-16 22:09:09
960
转载 Hadoop学习笔记(5) MapReduce工作机制
Hadoop学习笔记(5) MapReduce工作机制知识点小结：shuffle影响性能的因素1 Map –>buffer –> partition, sort, spill to disk (输出缓冲区，溢出写磁盘比例，运行combiner最小溢出写文件数3, task tracker工作线程数)2 Reduce copy (5 threads) –> memory (b
2014-04-10 18:22:47
2036
转载 Hadoop学习笔记（5）———Mapreduce工作原理
Hadoop学习笔记（5）————Mapreduce工作原理 一个MapReduce作业在hadoop上运行的整个过程可以分为4个实体：（1）、客户端，提交MapReduce作业；在客户端上使用runJob()方法来新建JobClient实例和调用它的submitJob()方法。提交作业后，runJob将每秒轮询作业的进度，如果发现与上一个记录不同，便把报告显示到控制台。作业完成后，如
2014-04-10 18:21:10
2516
转载 MapReduce工作原理图文详解
MapReduce工作原理图文详解前言： 前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。呵呵~不过最近在胡老大的号召下，我们云计算团队重振旗鼓了，希望大伙仍高举“云在手，跟我走”的口号战斗下去。这篇博文就算是我们团队“重启云计算”的见证吧，也希望有更多优秀的文章出炉。汤
2014-04-10 18:17:04
1136
转载 Hadoop API 使用介绍
Hadoop API 使用介绍Hadoop API被分成（divide into）如下几种主要的包（package）org.apache.hadoop.conf 定义了系统参数的配置文件处理API。org.apache.hadoop.fs 定义了抽象的文件系统API。org.apache.hadoop.dfs Hadoop分布式文件系统（H
2014-04-10 16:51:34
7036
转载 HBase与MongoDB的区别
HBase与MongoDB的区别 1、HBase依赖于HDFS；MongoDB直接存储在本地磁盘中。2、HBase按照列族将数据存储在不同的文件中；MongoDB不分列，整个文档都存储在一个（或者说一组）文件中，通过一个有一个通用的.ns文件保存名称空间（Column-based和Document-Based之间的区别应该是指这个地方吧）。即HBase是列式存储而MongoDB是文
2014-01-23 16:09:42
7655
转载 Eclipse 各个版本命名
Eclipse自3.1开始使用木星的卫星作为版本名，例如：木卫一：伊奥 lo木卫二：欧罗巴 Europa木卫三：伽倪墨得斯 Ganymede木卫四：卡利斯托 Callisto.... Eclipse 3.1 版本代号 IO 【木卫1，伊奥】 Eclipse 3.2 版本代号 Callisto 【木卫四，卡里斯托 】Eclipse 3.3 版本代号 Eruopa
2013-12-17 20:28:32
2116
转载 Hadoop基础概念1
名称节点（ NameNode）：管理文件系统的命名空间，记录文件系统树及这个树内所有的文件和索引目录，同时也记录每个文件的每个块，所在的数据节点。数据节点（ DataNode ）：文件系统的工作者，存储并提供定位块的服务，并定时向名称节点发送块的存储列表JobTracker：协调作业的运行。TaskTracker：运行作业划分后的任务。 NameNode记录着每个文件的元
2013-12-15 00:26:29
844
转载 Hadoop实战-初级部分 之 Hadoop集群的安装
第一部分：Word Count 程序讲解 •编写一个MapReduce 程序的步骤 –编写一个Mapper类 –编写一个Reducer类 –编写一个Driver类（即Job），来将Mapper与Reducer类来进行组合。 java代码：查看复制到剪贴板打印Mapper publi
2013-12-15 00:06:16
1625
转载 Hadoop实战-初级部分 之 MapReduce 开发2
第一部分：Word Count 程序讲解 •编写一个MapReduce 程序的步骤 –编写一个Mapper类 –编写一个Reducer类 –编写一个Driver类（即Job），来将Mapper与Reducer类来进行组合。 java代码：查看复制到剪贴板打印Mapper publi
2013-12-15 00:00:44
897
转载 Hadoop实战-初级部分 之 MapReduce 开发1
第一部分： 什么是 MapReduce Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 MapReduce基础出发点是很易懂。它由称为map和reduce的两部分用户程序组成，然后利用框架在计算机
2013-12-14 23:59:25
916
转载 Hadoop实战-初级部分 之 Hadoop 分布式文件系统3
第一部分：数据完整性 数据完整性及其采用的技术 保证数据在传输过程中不损坏 ，常见的保证数据完整性采用的技术 A.奇偶校验技术 B.ECC校验纠错技术 C.CRC-32循环冗余校验技术 HDFS以透明方式校验所有写入它的数据，并在默认设置下，会在读取数据时验证校验和。针对数据的每个io.bytes.per.checksum(默认512字节
2013-12-14 23:57:48
953
转载 Hadoop实战-初级部分 之 Hadoop 分布式文件系统2
第一部分：搭建HDFS开发环境 •导入Hadoop的Jar •建立resources文件夹，放入配置文件 第二部分：Configuration •添加配置文件 •获取配置文件属性 第三部分：FileSystem API 详解 FileSystem：该类为 HDFS文件系统的抽象类，通过它可以在 Java端操作 HDFS。
2013-12-14 23:56:07
831
转载 Hadoop实战-初级部分 之 Hadoop 分布式文件系统1
第一部分：什么是HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 HDFS是高容错性的，可以部署在低成本的硬件之上，HDFS提供高吞吐量地对应用程序数据访问，它适合大数据集的应用程序。 第二部分：HDFS架构设计 HDFS 设计目标 HDFS不适合做什么
2013-12-14 23:48:51
838
转载 Hadoop实战-初级部分 之 Hadoop Shell 基本操作介绍
第一部分：Hadoop Bin 后面根据项目的实际需要Hadoop Bin 包括: Hadoop hadoop的Shell hadoop-config.sh 它的作用是对一些变量进行赋值 HADOOP_HOME（hadoop的安装目录）。 HADOOP_CONF_DIR（hadoop的配置文件目录）。HADOOP_SLAVES（--hosts指定
2013-12-14 23:47:21
869
转载 Hadoop实战-初级部分 之 Hadoop安装部署
Hadoop实战-初级部分 之 Hadoop安装部署第一部分：开始云计算之旅第二部分：初识Hadoop第三部分：Hadoop 环境安装部署第四部分：Hadoop Shell 基本操作介绍第五部分：Hadoop 分布式文件系统1第五部分：Hadoop 分布式文件系统2第五部分：Hadoop 分布式文件系
2013-12-14 23:42:47
1037
转载 Windows下Cygwin环境的Hadoop安装（3）- 运行hadoop中的wordcount实例遇到的问题和解决方法
转自：http://blog.csdn.net/liu_jason/article/details/7707458 谢谢原作者！ 在前面的步骤中，我们已经建立了hadoop环境，下面该运行一个实例了，就拿hadoop自带的wordcount练手吧。- 建立本地数据文件在我们准备的hadoop本地文件夹data下建立一个data_in文件夹，并在此文件夹下创建两个数据文件，
2013-12-14 22:26:05
2625
转载 Hadoop集群（第6期）_WordCount运行详解【转载】
1、MapReduce理论简介1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个
2013-12-13 16:00:52
1062
转载 hadoop配置文件详解、安装及相关操作 .
一、 Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6 2. 在conf/core-site.xml文件中增加如下内容： fs.default.name -这是一个描述集群中NameNode结点的URI(包括协
2013-12-11 18:43:11
671
原创 修改eclipse里面的代码样式设置（format）（转）
http://14172903.blog.163.com/blog/static/20368486200981617663/
2011-12-02 11:22:21
216
原创 排序简单总结
public class Paixu { public static void main(String[] args) { int[] array = { 4, 2, 7, 8, 0 }; // int[] a=bubbleSort(array); int[] a=selectSort(array);// int[] a=insertSort(array); for(int k:arr...
2011-12-01 01:11:27
136
原创 UNIX常用命令简介
第0章 建立自己的环境1、CSH在使用C-SHELL时，有两个环境文件需要配置：.cshrc和.login（以“.”开头的文件通常的情况下是隐藏的，可以采用命令“ls -a”查看）。.cshrc设置说明umask 027 # 设置创建文件时的缺省权限set history = 32 # 设置需要记忆的历史命令数目setenv WORK_DIR $HOME # setenv 用于csh设置环境变量s...
2011-12-01 01:06:50
185
原创 thrift学习笔记（zhuan)
http://www.blogjava.net/xmatthew/archive/2011/11/12/347908.html
2011-11-21 15:16:55
163
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人