翻滚啊牛宝宝

原创 进程CPU使用率计算

某进程cpu使用率 = ((utime+stime) - (lastutime + laststime)) / (period * sysconf(_SC_CLK_TCK))

原创 hive超大数据量排序

当使用hive或spark对超大数据量（几十亿）数据进行排序的时候，直接使用row_number函数会导致数据严重倾斜，都在一个reduce任务上执行，导致很难跑出来，一定要排序的还可以参考如下sql

原创 一图讲JVM

原创 http知识点整理记录

TCP的三次握手四次挥手：三次握手（建立连接）： 第一次握手: 建立连接时，客户端向服务器端发送TCP连接请求数据包（SYN=1，seq=x）,客户端进入SYN_SEND状态 第二次握手: 服务器确认数据包，并返回自己的数据包（SYN=1，ACK=1，ack=x+1，seq=y），服务器进入SYN_RECV状态 第三次握手: 客户端确认并再次发出确认（ACK=1，...

原创 spring源码解析（springMVC）

个人学习整理参考：《spring源码深度解析》springMVC 是基于servlet功能实现的，通过实现Servlet接口库的DispatcherServlet来封装器核心功能实现在springMVC中，需要使用web.xml初始化配置信息，主要如下三部分 <context-param> <param-name>contextConfigLocati...

原创 MySql知识点整理

事务： ACDI： 原子性(atomicity)：指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。 一致性(consistency)：事务必须使数据库从一个一致性状态变换到另外一个一致性状态，数据一致（如 转账总数不变）。 持久性(durability)：一个事务一旦被提交，所做的修改就会永久保存到数据库中，无法...

原创 spring源码解析（AOP）

个人学习整理参考：《spring源码深度解析》AOP即面向切面编程，采取横向切割。下面代码是使用AOP进行方法test的横向处理，在所有test方法前后打印一些文字。@Aspectpublic class AspectTest { // 所有类的test方法 @Pointcut("execution(*.*.test(..))") public void...

原创 spring源码解析（容器的功能扩展）

Spring中还提供了另一个接口ApplicationContext，继承了BeanFactory，且包含BeanFactory的所有功能，并额外提供了一些其他的功能。比如国际化支持、事件机制、AOP支持等等。通过ApplicationContext加载xml文件 public static void main(String[] args) { Applicat...

原创 spring源码解析（bean的加载）

经过前三篇的分析，已经将xml的解析处理完了，接下来就是bean的加载了从头开始：[https://blog.csdn.net/jkdcoach/article/details/92403616] BeanFactory beanFactory = new XmlBeanFactory(new ClassPathResource("application.xml")); MessageS...

原创 spring源码解析（自定义解析器）

继上篇文章，开始分析默认解析器[https://blog.csdn.net/jkdcoach/article/details/92403616]自定义标签使用定义xsd文件，描述一个自定义的targetNamespace<?xml version="1.0" encoding="UTF-8"?><schema xmlns="http://www.w3.org/2001/...

原创 spring源码解析（默认解析器）

继上篇文章，开始分析默认解析器[https://blog.csdn.net/jkdcoach/article/details/92403616] private void parseDefaultElement(Element ele, BeanDefinitionParserDelegate delegate) { if (delegate.nodeNameEquals(ele, IMP...

原创 spring源码解析（容器基本实现）

个人学习整理参考：《spring源码深度解析》环境搭建：直接引spring的依赖，方便一些，把源码文件下下来就好了<!-- 统一版本号 --> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> ...

原创 markdown基本语法

markdown语法比较简单，格式化文本，建议手动写一遍，差不多就都有印象了README.md使用markdown语法，部分功能在github中不支持，在vscode均无问题，觉着不错点个start呦~传送门...

原创 查看堆栈信息

本文不做说明，记录工作上内存泄漏相关定位工具生成堆栈文件通过jdk自带工具生成，线上使用的时候执行的时候提示找不到pid对应的文件，加上-F参数可以强制关联上jmap -F -dump:format=b,file=d:\dump\heap.hprof <pid>下面这个没有使用过，目测可以jcmd <pid> GC.heap_dump d:\dump\h...

原创 查找-红黑树

源码：https://github.com/sunrui849/selectAlgorithm目录：顺序查找二分查找插值查找斐波那契查找分块查找哈希查找二叉树查找红黑树查找红黑树查找个人理解，如发现问题欢迎指出，共同学习~性质红黑树是基于二叉搜索树的（二叉搜索树看过来），与二叉搜索树不同的是多出来五条性质：1.每个节点或是红色的，或是黑色的；...

原创 查找-二叉查找树

源码：https://github.com/sunrui849/selectAlgorithm目录：顺序查找二分查找插值查找斐波那契查找分块查找哈希查找二叉树查找红黑树查找二叉查找树(Binary Search Tree)二叉查找树又称二叉排序树又称二叉搜索树，如不为空则有以下性质：1. 若任意节点的左子树不空，则左子树上所有结点的值均小于它的根结点的值...

原创 查找-哈希查找

参考：https://www.cnblogs.com/lsqin/p/9342929.html源码：https://github.com/sunrui849/selectAlgorithm目录：顺序查找二分查找插值查找斐波那契查找分块查找哈希查找二叉树查找红黑树查找查找-哈希查找算法简介 哈希表就是一种以键-值(key-indexed) 存储数据...

原创 查找-分块查找

参考：https://www.cnblogs.com/yw09041432/p/5908444.html源码：https://github.com/sunrui849/selectAlgorithm目录：顺序查找二分查找插值查找斐波那契查找分块查找哈希查找二叉树查找红黑树查找查找-分块查找　分块查找又称索引顺序查找，它是顺序查找的一种改进方法，要求按块有...

原创 查找-斐波那契查找

参考：https://www.cnblogs.com/yongh/p/9232742.html#_label1_2源码：https://github.com/sunrui849/selectAlgorithm目录：顺序查找二分查找插值查找斐波那契查找分块查找哈希查找二叉树查找红黑树查找斐波那契查找斐波那契数列如下所示：　　斐波那契查找原理与前两种...

原创 查找-插值查找

参考：https://www.cnblogs.com/lsqin/p/9342929.html源码：https://github.com/sunrui849/selectAlgorithm目录：顺序查找二分查找插值查找斐波那契查找分块查找哈希查找二叉树查找红黑树查找插值查找算法简介 插值查找是根据要查找的关键字key与查找表中最大最小记录的关键...

原创 查找-二分查找

参考：https://www.cnblogs.com/lsqin/p/9342929.html源码：https://github.com/sunrui849/selectAlgorithm目录：顺序查找二分查找插值查找斐波那契查找分块查找哈希查找二叉树查找红黑树查找二分查找算法简介 二分查找（Binary Search），是一种在有序数组中查找...

原创 查找-顺序查找

参考：https://www.cnblogs.com/lsqin/p/9342929.html源码：https://github.com/sunrui849/selectAlgorithm目录：顺序查找二分查找插值查找斐波那契查找分块查找哈希查找二叉树查找红黑树查找顺序查找算法简介顺序查找又称为线性查找，是一种最简单的查找方法。适用于线...

原创 tcpdump抓包

有时候在调试问题长长需要用抓包来定位问题，而网上关于抓包的冗余信息太多，为方便使用，下面直奔主题，只说明一种常用的命令，更详细的参数需要从别的文章里去匹配了~假设有两台主机A B，A机器部署了某个服务，从B访问A服务，假设B机器ip为 221.221.221.221    A机器IP为140.140.140.140 服务的端口为80991.在A机器抓包，tcpdump -s0 -A h...

原创 基数排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482源码：https://github.com/sunrui849/sort基数排序基数排序是按照低位先排序，然后收集；再按照高位排序，然后再收...

原创 桶排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482源码：https://github.com/sunrui849/sort桶排序桶排序是计数排序的升级版。它利用了函数的映射关系，高效与否的关...

原创 计数排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482源码：https://github.com/sunrui849/sort计数排序计数排序不是基于比较的排序算法，其核心在于将输入的数据值转化...

原创 希尔排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482源码：https://github.com/sunrui849/sort希尔排序1959年Shell发明，第一个突破O(n2)的排序算法，是...

原创 堆排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482源码：https://github.com/sunrui849/sort堆排序堆排序（Heapsort）是指利用堆这种数据结构所设计的一种排...

原创 各类排序算法总结

参考摘自：https://www.cnblogs.com/onepixel/articles/7674659.html源码：https://github.com/sunrui849/sort排序算法大致可分为两类：非线性时间比较类排序：通过比较来决定元素间的相对次序，由于其时间复杂度不能突破O(nlogn)，因此称为非线性时间比较类排序。线性时间非比较类排序：不通过比较来决定元素间...

原创 归并排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482源码：https://github.com/sunrui849/sort归并排序归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用...

原创 快速排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482源码：https://github.com/sunrui849/sort快速排序快速排序的基本思想：通过一趟排序将待排记录分隔成独立的两部分...

原创 插入排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482源码：https://github.com/sunrui849/sort插入排序插入排序（Insertion-Sort）的算法描述是一种简单...

原创 选择排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482源码：https://github.com/sunrui849/sort选择排序选择排序(Selection-sort)是一种简单直观的排序...

原创 冒泡排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482源码：https://github.com/sunrui849/sort冒泡排序冒泡排序是一种简单的排序算法。它重复地走访过要排序的数列，一...

原创 fescar分布式事务管理入门

fescar是阿里开源的一款分布式事务管理服务，基于GTS和TXC进行开发，目前最高版本为0.1.3，目前还没有开源的比较好的分布式事务管理，基于大家熟知的GTS进行开源，未来也会对springCloud进行支持（目前支持dubbo），个人觉着前景还不错，先入个门。github官网地址：https://github.com/alibaba/fescar首先把源码下载下来，就拿0.1.3分支...

原创 cas服务端搭建两种方式(4.0.3版本)

    cas4服务端搭建的方式在网上的资料全都是部署war到tomcat中，但是使用cas一般都会有一些自定义需求开发，一种方式是overlay方式进行开发，还有一种是看了公司的cas摸索出来的一种，目前对于基于gradle的cas还没有深入研究，这篇文章就是基于cas4.0.3版本进行说明的。overlay方式首先创建一个maven项目，然后修改pom.xml文件即可pom.xml...

转载 Mysql 存储引擎的区别和比较

转自：Mysql 存储引擎的区别和比较**MyISAM存储引擎** MyISAM基于ISAM存储引擎，并对其进行扩展。它是在Web、数据仓储和其他应用环境下最常使用的存储引擎之一。MyISAM拥有较高的插入、查询速度，但不支持事务。MyISAM主要特性有： 1、大文件（达到63位文件长度）在支持大文件的文件系统和操作系统上被支持。 2、当把删除和更新及插入操作混合使用的时候，...

原创 flume单机版环境搭建

flume逻辑上采用三层架构：Agent层：用于采集数据，可用于Flume存储数据流，同时Agent将产生的数据传输到Collector；Collector层：其作用是汇总多个Agent上报的数据并加载到Storage中，在多个Collector之间遵循负载均衡规则，在集群环境下该层体现比较明显，单机版展现不出来；Storage层：是一个存储系统，类型不固定，可以是文本文件、HDFS、...

原创 sqoop1环境搭建

Sqoop是Apache软件基金会的一款定级开源数据传输工具，用于在Hadoop与关系型数据库之间进行数据传递，他可以将关系型数据中的数据导入到Hadoop的分布式文件系统（HDFS）中，也可以将分布式文件系统中的数据导出到关系型数据库中。Sqoop的自动化流程，依赖于被导入的数据库表结构。Sqoop使用MapReduce计算框架来完成数据的导入和导出，并提供了并行操作和容错性。以上引自《...

原创 hadoop环境搭建（续预备）

继hadoop环境搭建预备节之后，开始正式搭建hadoop集群环境，先简单介绍下lz的环境，共五台虚机，node1-node5node1和node2为NameNodenode3-node5为DataNode安装包下载：lz使用的是2.7.7的包配置cd /data/soft/new/hadoop//解压压缩包tar -zxvf hadoop-2.7.7.tar.gzcd...