- 博客(72)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 druid.io可视化调研
https://fangyeqing.github.io/2016/11/04/druid.io%E5%8F%AF%E8%A7%86%E5%8C%96%E8%B0%83%E7%A0%94/
2017-12-25 12:01:31
860
转载 hive 的几种存储格式
Hive文件存储格式1.textfiletextfile为默认格式存储方式：行存储磁盘开销大 数据解析开销大压缩的text文件 hive无法进行合并和拆分2.sequencefile二进制文件,以的形式序列化到文件中存储方式：行存储可分割 压缩一般选择block压缩优势是文件和Hadoop api中的mapfile是相互兼容的。3.rcf
2017-02-23 09:53:15
10998
转载 LSM树在HBase中的应用
讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来：哈希存储引擎 是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据，哈希表就是your Mr.RightB树存储引擎是B树（关于B
2017-02-19 21:46:49
498
转载 Java 加解密技术系列之 MD5
序上一篇文章中，介绍了最基础的编码方式 — — BASE64，也简单的提了一下编码的原理。这篇文章继续加解密的系列，当然也是介绍比较基础的加密方式 — — MD5，MD5 属于单向加密算法，是不可逆的加密方式，也就是说，采用了 MD5 加密方式加密之后，就不能对加密的结果进行解密，得到原有的字符串，这是不可以的。背景相信在我们的生活中，MD5 用
2017-02-14 10:00:46
627
转载 Java 加解密技术系列之 SHA
序上一篇文章中介绍了基本的单向加密算法 — — MD5，也大致的说了说它实现的原理。这篇文章继续之前提到的单向加密，主要讲的是 SHA，同 MD5 一样，SHA 同样也是一个系列，它包括 SHA-1，SHA-224，SHA-256，SHA-384，和 SHA-512 等几种算法。其中，SHA-1，SHA-224 和 SHA-256 适用于长度不超过 2^64 二进制位的消息。SHA
2017-02-14 09:59:16
387
转载 基于堆排序实现的找出N个数据的前M大数据之Java实现
一个10G的关键词的log，找出词频最高的前K个词，设可用内存为2G左右 分析： 本题的难点主要有两处，一是如何在有限内存下对大文件进行词频统计；二是如何在有限内存的下找出词频的前K大个词。1）词频统计 词频统计，我们很自然的会想到使用hash。但是直接hash内存是放不下的啊…怎么办？其实对于有限内存下的大文件处理，都可总结为归并的思想，不过
2017-02-12 12:22:05
1119
转载 JAVA中calendar,date,string 的相互转换和详细用法
Java中calendar,date,string 的相互转换和详细用法[java] view plain copypackage cn.outofmemory.codes.Date; import java.util.Calendar; import java.util.Date; pu
2017-02-12 12:15:46
495
转载 MySQL两种引擎的区别
Innodb引擎Innodb引擎提供了对数据库ACID事务的支持，并且实现了SQL标准的四种隔离级别。该引擎还提供了行级锁和外键约束，它的设计目标是处理大容量数据库系统，它本身其实就是基于MySQL后台的完整数据库系统，MySQL运行时Innodb会在内存中建立缓冲池，用于缓冲数据和索引。但是该引擎不支持FULLTEXT类型的索引，而且它没有保存表的行数，当SELECT COUNT(*
2017-02-10 17:55:01
219
转载 springmvc的执行流程详解
原文链接：http://blog.csdn.net/u014010769/article/details/473545291.什么是MVC MVC是Model View Controller的缩写，它是一个设计模式 2.springmvc执行流程详细介绍 第一步：发起请求到前端控制器(DispatcherServlet)
2017-02-09 12:32:31
536
转载 spring 常用注解
常用的spring注解有如下几种：@Controller@Service@Autowired@RequestMapping@RequestParam@ModelAttribute@Cacheable@CacheFlush@Resource@PostConstruct@PreDestroy@Repository@Component （不推荐使用
2017-02-09 12:13:14
389
转载 MySQL B+树索引和哈希索引的区别
导读在MySQL里常用的索引数据结构有B+树索引和哈希索引两种，我们来看下这两种索引数据结构的区别及其不同的应用建议。二者区别备注：先说下，在MySQL文档里，实际上是把B+树索引写成了BTREE，例如像下面这样的写法：CREATE TABLE t(aid int unsigned not null auto_increment,userid i
2017-02-08 22:43:20
310
原创 动态生成enum(dynamic enum)
因为以前的老代码定义了enum类，而这部分代码是作为公共的jar,修改时会影响很大,所以希望动态添加枚举属性首先是一个工具类DynamicEnumUtil ，参考网上的：原文链接：http://bbs.csdn.net/topics/391037532https://www.niceideas.ch/roller2/badtrash/entry/java_create_enum
2017-01-04 15:09:18
7160
1
转载 kafka producer
原文链接：http://blog.csdn.net/liuzhenfeng/article/details/50688842Kafka Producer 工作流程消息发送流程Kafka Producer 发送消息的两种方式：同步发送、异步发送。同步发送的流程图异步发送流程图发送流程说明（以异步发送为例）：客户端创建Produc
2017-01-02 18:12:08
515
转载 linux awk命令详解
原文链接 : http://blog.chinaunix.net/uid-23302288-id-3785105.html awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息awk处理过程: 依次对每一行进行处理，然后输出awk命令形式:awk [-F|-f|-v] ‘BEGIN{} //{command1; c
2016-12-28 16:48:05
226
转载 linux命令：find命令
原文链接：http://blog.csdn.net/pipisorry/article/details/39831419linux find命令语法find [起始目录] 寻找条件 操作find PATH OPTION [-exec COMMAND { } \;]因为find命令会根据我们给的option,也就是寻找条件从我们给出的目录开始对其中文件及其下子目录中的文件进行递归搜索
2016-12-28 16:44:54
338
转载 Kafka的Log存储原理
转自：http://tec.5lulu.com/detail/105djn2i536s98s6a.html引言Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message
2016-12-27 22:46:32
345
转载 Storm处理Stream Join的简单实例
转自：http://blog.csdn.net/kaitankedemao/article/details/50381023源码是分析的storm-starter中的SingleJoinExample，对两个简单的流进行聚合：[id,gender]和[id,age]经过join后[id,gender,age]分析过程直接写在注释里面，所以就不再分离出来。Si
2016-12-27 22:30:03
2122
转载 linux sort,uniq,cut,wc命令详解
转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858385.htmlsortsort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。sort语法[root@www ~]# sort
2016-12-27 18:06:11
191
转载 linux awk命令详解
转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: a
2016-12-27 17:55:02
183
原创 常用的linux命令及实例
一。grep1、grep的语法[] (man grep查看grep的帮助文档)grep [options] 'pattern' FILE命令 选项 模式 文件grep不加引号直接过滤字符串;grep在进行模式匹配的时候必须加引号，单引和双引号都可以;grep在引用变量的时候必须加双引号2、grep的选项[option]-r：递归的搜索-v:反向选取,只显示不符合模式
2016-12-27 17:36:28
349
转载 Storm常见模式——流聚合及 timecachemap的使用
转自：http://www.cnblogs.com/panfeng412/archive/2012/06/04/storm-common-patterns-of-stream-join.html流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。从定义上看，流聚合和SQL中表的聚合（table join）很像
2016-12-27 09:47:32
736
转载 mysql删除大表更快的办法
转自： mysql在对大表做DROP TABLE 过程中，所有操作都会被HANG住。这是因为INNODB会维护一个全局独占锁（在table cache上面），直到DROP TABLE完成才释放。在我们常用的ext3,ext4，ntfs文件系统，要删除一个大文件（几十G，甚至几百G）还是需要点时间的。下面我们介绍一个快速DROP table 的方法； 不管多大的表,INN
2016-12-27 09:43:47
3208
转载 mysql锁机制
转自：http://www.jb51.net/article/58039.htm前言为了保证数据的一致完整性，任何一个数据库都存在锁定机制。锁定机制的优劣直接应想到一个数据库系统的并发处理能力和性能，所以锁定机制的实现也就成为了各种数据库的核心技术之一。本章将对MySQL中两种使用最为频繁的存储引擎MyISAM和Innodb各自的锁定机制进行较为详细的分析。MySQL锁定机制简介
2016-12-25 21:59:48
131
转载 mysql btree与hash索引的适用场景和限制
转自： http://www.cnblogs.com/xiaoboluo768/p/5164342.htmlbtree索引：如果没有特别指明类型，多半说的就是btree索引，它使用btree数据结构来存储数据，大多数mysql引擎都支持这种索引，archive引擎是一个例外，5.1之前这个引擎不支持任何索引，5.1开始才支持单列自增的索引。innodb使用b+tree=btre
2016-12-25 21:54:27
231
转载 mysql索引
转自： http://www.cnblogs.com/dreamhome/archive/2013/04/16/3025304.html所有MySQL列类型可以被索引。根据存储引擎定义每个表的最大索引数和最大索引长度。所有存储引擎支持每个表至少16个索引，总索引长度至少为256字节。大多数存储引擎有更高的限制。索引的存储类型目前只有两种（btree和hash），具体和存储引擎模式相关：
2016-12-25 21:52:07
187
转载 Mysql日志解析
修改Mysql配置Mysql配置地址为：C:\Program Files (x86)\MySQL\MySQL Server 5.5如果无法修改可以把my.ini拷贝出来，修改完后，再拷贝回去！如果配置了Mysql的日志生成路径，但是该目录尚未创建，那么启动会报错！关于Mysql日志splunk内置了两种mysql的日志，分别是mysqld以及mysql_
2016-12-25 21:28:38
249
转载 mysql show profiles 使用分析sql 性能
Show profiles是5.0.37之后添加的，要想使用此功能，要确保版本在5.0.37之后。查看一下我的数据库版本MySQL> Select version();+---------------------+| version() |+---------------------+| 5.0.82-community-nt
2016-12-25 21:26:50
207
转载 redis的类型、原理及使用场景
转自：http://blog.csdn.net/hguisu/article/details/88368191. MySQL+Memcached架构的问题Memcached采用客户端-服务器的架构，客户端和服务器端的通讯使用自定义的协议标准，只要满足协议格式要求，客户端Library可以用任何语言实现。Memcached服务器使用基于Slab的内存
2016-12-17 20:00:22
11171
转载 zookeepr选举算法
源码下载：http://www.java2s.com/Code/Jar/z/Downloadzookeeper345sourcesjar.htm选举算法2.4.1 LeaderElection选举算法选举线程由当前Server发起选举的线程担任，他主要的功能对投票结果进行统计，并选出推荐的Server。选举线程首先向所有Server发起一次询
2016-12-17 11:55:20
366
转载 ZooKeeper典型应用场景一览
数据发布与订阅（配置中心）发布与订阅模型，即所谓的配置中心，顾名思义就是发布者将数据发布到ZK节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。 1. 应用中用到的一些配置信息放到ZK上进行集中管理。这类场景通常是这样：应用在启动的时候会主动来获取一次配置，同时，在节点上注册一个
2016-12-17 11:53:26
188
转载 Zookeeper的启动流程
zookeeper的主类是QuorumPeerMain，启动时读取zoo.cfg配置文件，如果没有配置server列表，则单机模式启动，否则按集群模式启动，这里只分析集群模式根据配置初始化quorumPeer对象，并启动quorumPeer线程，这里主要做了几件事情读取保存在磁盘上的数据，包括db的snapshot和txnlog，zookeeper的存储结构另外专门讲述启动
2016-12-17 11:46:19
1458
转载 HashMap实现原理
1. HashMap的数据结构数据结构中有数组和链表来实现对数据的存储，但这两者基本上是两个极端。 数组数组存储区间是连续的，占用内存严重，故空间复杂的很大。但数组的二分查找时间复杂度小，为O(1)；数组的特点是：寻址容易，插入和删除困难；链表链表存储区间离散，占用内存比较宽松，故空间复杂度很小，但时间复杂度很大，达O（N）。链表的特点是：寻址困难
2016-12-12 17:54:15
153
转载 深入浅出 RPC
转自：http://blog.csdn.net/mindfloating/article/details/39473807近几年的项目中，服务化和微服务化渐渐成为中大型分布式系统架构的主流方式，而 RPC 在其中扮演着关键的作用。在平时的日常开发中我们都在隐式或显式的使用 RPC，一些刚入行的程序员会感觉 RPC 比较神秘，而一些有多年使用 RPC 经验的程序员虽然使用经验丰富，但有些
2016-12-11 22:19:22
231
转载 分布式存储－HDFS 与 GFS 的设计差异
转自：http://blog.csdn.net/mindfloating/article/details/49103611我们知道 HDFS 最早是根据 GFS（Google File System）的论文概念模型来设计实现的。 然后呢，我就去把 GFS 的原始论文找出来仔细看了遍，GFS 的整体架构图如下： HDFS 参照了它所以大部分架构设计概念是类似的，比如 HD
2016-12-11 22:17:12
623
转载 google Dataflow编程模型和spark 2.0 structured streaming对比
转载自：http://blog.csdn.net/colorant/article/details/52163896主要介绍一下Dataflow编程模型的基本思想，后面再简单比较一下spark 2.0 structured streaming的编程模型== 是什么 == 谷歌Dataflow首先是一个服务 https://cloud.google.c
2016-12-11 22:06:41
539
转载 Google Cloud Dataflow对比原生的MapReduce
转发自：http://suanfazu.com/t/fen-bu-shi-ji-suan-kuang-jia-google-cloud-dataflow/257Google Cloud Dataflow是一种构建、管理和优化复杂数据处理流水线的方法，集成了许多内部技术，如用于数据高效并行化处理的Flume和具有良好容错机制流处理的MillWheel。Dataflow当前的API
2016-12-11 22:04:30
1164
原创 java链表反转
这里只实现遍历反转，还有一种递归反转这里未实现/** * 链表反转 * @author DELL * */public class LinkReverse { /** * @param args */ public static void main(String[] args) { Node n0 = new Node(0); Node n1 = new N
2016-12-08 17:10:52
251
原创 java实现冒泡法排序
/** * 冒泡法排序 * @author DELL * */public class BubbleSort { public static void main(String[] args) { int[] array = new int[]{9,4,5,6,8,3,2,7,10,1}; System.out.println("排序前---
2016-12-08 16:36:44
310
转载 解析xml的4种方法详解
转自：http://blog.csdn.net/jzhf2012/article/details/85328731. 介绍1）DOM(JAXP Crimson解析器) DOM是用与平台和语言无关的方式表示XML文档的官方W3C标准。DOM是以层次结构组织的节点或信息片断的集合。这个层次结构允许开发人员在树中寻找特定信息。分析该结构通常需要加载整个文档和构造层
2016-12-08 07:04:41
221
转载 cglib动态代理介绍(一)
转自：http://blog.csdn.net/xiaohai0504/article/details/6832990一、原理 代理为控制要访问的目标对象提供了一种途径。当访问对象时，它引入了一个间接的层。JDK自从1.3版本开始，就引入了动态代理，并且经常被用来动态地创建代理。JDK的动态代理用起来非常简单，当它有一个限制，就是使用动态代理的对象必须实现一个或多个接
2016-12-08 06:55:03
168
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人