翻滚啊牛宝宝

原创 进程CPU使用率计算

某进程cpu使用率 = ((utime+stime) - (lastutime + laststime)) / (period * sysconf(_SC_CLK_TCK))

原创 hive超大数据量排序

当使用hive或spark对超大数据量（几十亿）数据进行排序的时候，直接使用row_number函数会导致数据严重倾斜，都在一个reduce任务上执行，导致很难跑出来，一定要排序的还可以参考如下sql

原创 一图讲JVM

原创 http知识点整理记录

TCP的三次握手四次挥手： 三次握手（建立连接）： 第一次握手: 建立连接时，客户端向服务器端发送TCP连接请求数据包（SYN=1，seq=x）,客户端进入SYN_SEND状态 第二次握手: 服务器确认数据包，并返回自己的数据包（SYN=1，ACK=1，ack=x+1，seq=y），服务器进入SYN_RECV状态 第三次握手: 客户端确认并再次发出确认（ACK=1，...

原创 spring源码解析（springMVC）

个人学习整理 参考：《spring源码深度解析》 springMVC 是基于servlet功能实现的，通过实现Servlet接口库的DispatcherServlet来封装器核心功能实现 在springMVC中，需要使用web.xml初始化配置信息，主要如下三部分 <context-param> <param-name>contextConfigLocati...

原创 MySql知识点整理

事务： ACDI： 原子性(atomicity)：指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。 一致性(consistency)：事务必须使数据库从一个一致性状态变换到另外一个一致性状态，数据一致（如 转账总数不变）。 持久性(durability)：一个事务一旦被提交，所做的修改就会永久保存到数据库中，无法...

原创 spring源码解析（AOP）

个人学习整理 参考：《spring源码深度解析》 AOP即面向切面编程，采取横向切割。 下面代码是使用AOP进行方法test的横向处理，在所有test方法前后打印一些文字。 @Aspect public class AspectTest { // 所有类的test方法 @Pointcut("execution(*.*.test(..))") public void...

原创 spring源码解析（容器的功能扩展）

Spring中还提供了另一个接口ApplicationContext，继承了BeanFactory，且包含BeanFactory的所有功能，并额外提供了一些其他的功能。比如国际化支持、事件机制、AOP支持等等。 通过ApplicationContext加载xml文件 public static void main(String[] args) { ApplicationContext applicationContext = new ClassPathXmlApplicationContext("beans

原创 spring源码解析（bean的加载）

经过前三篇的分析，已经将xml的解析处理完了，接下来就是bean的加载了 从头开始：[https://blog.csdn.net/jkdcoach/article/details/92403616] BeanFactory beanFactory = new XmlBeanFactory(new ClassPathResource("application.xml")); MessageS...

原创 spring源码解析（自定义解析器）

继上篇文章，开始分析默认解析器 [https://blog.csdn.net/jkdcoach/article/details/92403616] 自定义标签使用 定义xsd文件，描述一个自定义的targetNamespace <?xml version="1.0" encoding="UTF-8"?> <schema xmlns="http://www.w3.org/2001/...

原创 spring源码解析（默认解析器）

继上篇文章，开始分析默认解析器 [https://blog.csdn.net/jkdcoach/article/details/92403616] private void parseDefaultElement(Element ele, BeanDefinitionParserDelegate delegate) { if (delegate.nodeNameEquals(ele, IMP...

原创 spring源码解析（容器基本实现）

个人学习整理 参考：《spring源码深度解析》 环境搭建： 直接引spring的依赖，方便一些，把源码文件下下来就好了 <!-- 统一版本号 --> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> ...

原创 markdown基本语法

markdown语法比较简单，格式化文本，建议手动写一遍，差不多就都有印象了 README.md使用markdown语法，部分功能在github中不支持，在vscode均无问题，觉着不错点个start呦~ 传送门 ...

原创 查看堆栈信息

本文不做说明，记录工作上内存泄漏相关定位工具 生成堆栈文件 通过jdk自带工具生成，线上使用的时候执行的时候提示找不到pid对应的文件，加上-F参数可以强制关联上 jmap -F -dump:format=b,file=d:\dump\heap.hprof <pid> 下面这个没有使用过，目测可以 jcmd <pid> GC.heap_dump d:\dump\h...

原创 查找-红黑树

源码：https://github.com/sunrui849/selectAlgorithm 目录：顺序查找 二分查找 插值查找 斐波那契查找 分块查找 哈希查找 二叉树查找 红黑树查找 红黑树查找 个人理解，如发现问题欢迎指出，共同学习~ 性质 红黑树是基于二叉搜索树的（二叉搜索树看过来），与二叉搜索树不同的是多出来五条性质： 1.每个节点或是红色的，或是黑色的； ...

原创 查找-二叉查找树

源码：https://github.com/sunrui849/selectAlgorithm 目录：顺序查找 二分查找 插值查找 斐波那契查找 分块查找 哈希查找 二叉树查找 红黑树查找 二叉查找树(Binary Search Tree) 二叉查找树又称二叉排序树又称二叉搜索树，如不为空则有以下性质： 1. 若任意节点的左子树不空，则左子树上所有结点的值均小于它的根结点的值...

原创 查找-哈希查找

参考：https://www.cnblogs.com/lsqin/p/9342929.html 源码：https://github.com/sunrui849/selectAlgorithm 目录：顺序查找 二分查找 插值查找 斐波那契查找 分块查找 哈希查找 二叉树查找 红黑树查找 查找-哈希查找 算法简介 哈希表就是一种以键-值(key-indexed) 存储数据...

原创 查找-分块查找

参考：https://www.cnblogs.com/yw09041432/p/5908444.html 源码：https://github.com/sunrui849/selectAlgorithm 目录：顺序查找 二分查找 插值查找 斐波那契查找 分块查找 哈希查找 二叉树查找 红黑树查找 查找-分块查找 　分块查找又称索引顺序查找，它是顺序查找的一种改进方法，要求按块有...

原创 查找-斐波那契查找

参考：https://www.cnblogs.com/yongh/p/9232742.html#_label1_2 源码：https://github.com/sunrui849/selectAlgorithm 目录：顺序查找 二分查找 插值查找 斐波那契查找 分块查找 哈希查找 二叉树查找 红黑树查找 斐波那契查找 斐波那契数列如下所示： 　　斐波那契查找原理与前两种...

原创 查找-插值查找

参考：https://www.cnblogs.com/lsqin/p/9342929.html 源码：https://github.com/sunrui849/selectAlgorithm 目录：顺序查找 二分查找 插值查找 斐波那契查找 分块查找 哈希查找 二叉树查找 红黑树查找 插值查找 算法简介 插值查找是根据要查找的关键字key与查找表中最大最小记录的关键...

原创 查找-二分查找

参考：https://www.cnblogs.com/lsqin/p/9342929.html 源码：https://github.com/sunrui849/selectAlgorithm 目录：顺序查找 二分查找 插值查找 斐波那契查找 分块查找 哈希查找 二叉树查找 红黑树查找 二分查找 算法简介 二分查找（Binary Search），是一种在有序数组中查找...

原创 查找-顺序查找

参考：https://www.cnblogs.com/lsqin/p/9342929.html 源码：https://github.com/sunrui849/selectAlgorithm 目录：顺序查找 二分查找 插值查找 斐波那契查找 分块查找 哈希查找 二叉树查找 红黑树查找 顺序查找 算法简介 顺序查找又称为线性查找，是一种最简单的查找方法。适用于线...

原创 tcpdump抓包

有时候在调试问题长长需要用抓包来定位问题，而网上关于抓包的冗余信息太多，为方便使用，下面直奔主题，只说明一种常用的命令，更详细的参数需要从别的文章里去匹配了~ 假设有两台主机A B，A机器部署了某个服务，从B访问A服务， 假设B机器ip为 221.221.221.221    A机器IP为140.140.140.140 服务的端口为8099 1.在A机器抓包，tcpdump -s0 -A h...

原创 基数排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html 其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482 源码：https://github.com/sunrui849/sort 基数排序 基数排序是按照低位先排序，然后收集；再按照高位排序，然后再收...

原创 桶排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html 其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482 源码：https://github.com/sunrui849/sort 桶排序 桶排序是计数排序的升级版。它利用了函数的映射关系，高效与否的关...

原创 计数排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html 其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482 源码：https://github.com/sunrui849/sort 计数排序 计数排序不是基于比较的排序算法，其核心在于将输入的数据值转化...

原创 希尔排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html 其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482 源码：https://github.com/sunrui849/sort 希尔排序 1959年Shell发明，第一个突破O(n2)的排序算法，是...

原创 堆排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html 其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482 源码：https://github.com/sunrui849/sort 堆排序 堆排序（Heapsort）是指利用堆这种数据结构所设计的一种排...

原创 各类排序算法总结

参考摘自：https://www.cnblogs.com/onepixel/articles/7674659.html 源码：https://github.com/sunrui849/sort 排序算法大致可分为两类： 非线性时间比较类排序：通过比较来决定元素间的相对次序，由于其时间复杂度不能突破O(nlogn)，因此称为非线性时间比较类排序。 线性时间非比较类排序：不通过比较来决定元素间...

原创 归并排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html 其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482 源码：https://github.com/sunrui849/sort 归并排序 归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用...

原创 快速排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html 其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482 源码：https://github.com/sunrui849/sort 快速排序 快速排序的基本思想：通过一趟排序将待排记录分隔成独立的两部分...

原创 插入排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html 其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482 源码：https://github.com/sunrui849/sort 插入排序 插入排序（Insertion-Sort）的算法描述是一种简单...

原创 选择排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html 其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482 源码：https://github.com/sunrui849/sort 选择排序 选择排序(Selection-sort)是一种简单直观的排序...

原创 冒泡排序

参考：https://www.cnblogs.com/onepixel/articles/7674659.html 其他排序算法传送门：https://blog.csdn.net/jkdcoach/article/details/87442482 源码：https://github.com/sunrui849/sort 冒泡排序 冒泡排序是一种简单的排序算法。它重复地走访过要排序的数列，一...

原创 fescar分布式事务管理入门

fescar是阿里开源的一款分布式事务管理服务，基于GTS和TXC进行开发，目前最高版本为0.1.3，目前还没有开源的比较好的分布式事务管理，基于大家熟知的GTS进行开源，未来也会对springCloud进行支持（目前支持dubbo），个人觉着前景还不错，先入个门。 github官网地址：https://github.com/alibaba/fescar 首先把源码下载下来，就拿0.1.3分支...

原创 cas服务端搭建两种方式(4.0.3版本)

    cas4服务端搭建的方式在网上的资料全都是部署war到tomcat中，但是使用cas一般都会有一些自定义需求开发，一种方式是overlay方式进行开发，还有一种是看了公司的cas摸索出来的一种，目前对于基于gradle的cas还没有深入研究，这篇文章就是基于cas4.0.3版本进行说明的。 overlay方式 首先创建一个maven项目，然后修改pom.xml文件即可 pom.xml...

转载 Mysql 存储引擎的区别和比较

转自：Mysql 存储引擎的区别和比较 ** MyISAM存储引擎 **  MyISAM基于ISAM存储引擎，并对其进行扩展。它是在Web、数据仓储和其他应用环境下最常使用的存储引擎之一。MyISAM拥有较高的插入、查询速度，但不支持事务。 MyISAM主要特性有：  1、大文件（达到63位文件长度）在支持大文件的文件系统和操作系统上被支持。  2、当把删除和更新及插入操作混合使用的时候，...

原创 flume单机版环境搭建

flume逻辑上采用三层架构： Agent层：用于采集数据，可用于Flume存储数据流，同时Agent将产生的数据传输到Collector； Collector层：其作用是汇总多个Agent上报的数据并加载到Storage中，在多个Collector之间遵循负载均衡规则，在集群环境下该层体现比较明显，单机版展现不出来； Storage层：是一个存储系统，类型不固定，可以是文本文件、HDFS、...

原创 sqoop1环境搭建

Sqoop是Apache软件基金会的一款定级开源数据传输工具，用于在Hadoop与关系型数据库之间进行数据传递，他可以将关系型数据中的数据导入到Hadoop的分布式文件系统（HDFS）中，也可以将分布式文件系统中的数据导出到关系型数据库中。 Sqoop的自动化流程，依赖于被导入的数据库表结构。Sqoop使用MapReduce计算框架来完成数据的导入和导出，并提供了并行操作和容错性。 以上引自《...

原创 hadoop环境搭建（续预备）

继hadoop环境搭建预备节之后，开始正式搭建hadoop集群环境，先简单介绍下lz的环境，共五台虚机，node1-node5 node1和node2为NameNode node3-node5为DataNode 安装包下载：lz使用的是2.7.7的包 配置 cd /data/soft/new/hadoop //解压压缩包 tar -zxvf hadoop-2.7.7.tar.gz cd...