qq_40395687的博客

原创 PowerMocker&Jacoco单元测试全解

PowerMocker&Jacoco单元测试全解第一章 pom文件的引入与各种坑1. pom文件<!-- 测试包 --><dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope>&lt

原创 第二章 垃圾收集器与内存分配策略

2.1 判断对象已经死亡的两种方式2.1.1 引用计数法概念：每一个对象都有一个计数器，当被一个引用指向的时候就把计数器加一。当一个引用失效就减一。所以说当一个对象的计数器为零的时候表示对象不在使用了。问题：当对象出现循环引用的问题时，无法解决。2.1.2 可达性分析算法概念：通过一系列的“GC Roots” 的对象作为起始点，从这些节点开始向下搜索，搜索走过的路线成为引用链，当一个对象到GC Roots没有任何引用链相连，则证明此对象是不可用的。GC Roots：虚拟机栈中的引用对

原创 第一章 Java内存区域

1.1 运行时数据区域1.1.1 程序计数器概念：字节码解释器工作时就是通过改变这个计数器的值来进行选取下一条需要执行的字节码指令、分支、循环、跳转、异常处理、线程恢复等基础功能。因为Java虚拟机的多线程是通过线程轮流切换分支并分配处理器执行时间的方式来实现的，因此需要让此区域线程私有。区别：Java内存空间中唯一一个没有规定OutMemoryError情乱的区域。1.1.2 Java虚拟机栈线程私有的。他的生命周期与线程相同。设置虚拟机栈的指令：-Xss256k(K)或者-Xss1

原创 flowable流程引擎应该怎么玩？

什么是flowableFlowable是一个流行的轻量级的采用Java开发的业务流程引擎。通过Flowable流程引擎，我们可以部署BPMN2.0的流程定义(一般为XML文件)，通过流程定义创建流程实例，查询和访问流程相关的实例与数据，等等。Flowable可以灵活地添加到我们的服务、应用、架构中，可以通过引入Flowable jar包，或者直接使用Flowable的Rest API来进行业务流程引擎的操作。Flowable是基于Activity5.0的一个分支开发的，因此内部的很多概念都相似。适

原创 Spring实例化流程

Spring实例化流程：源码中执行的是AbstractApplicationContext中的finishBeanFactoryInitialization方法进行实例化对象。拿到将要实例化bean的BeanDefinition(拿到原料)开始实例化(doGetBean)从单例池中尝试去拿这个bean的实例化对象。如果拿不到，判断它是否标注了DependOn注解，如果标注了，就先去实例化DependOn里添加的bean开始创建bean实体，实例化之前执行了InstantiationAwareB

原创 git基本操作和github互通

一.git初始化命令： git init #在本地创建一个git仓库idea方式：直接创建就行了git设置忽略文件：git config --global core.excludesfile ~/.gitignore #命令设置全局忽略文件下面就来介绍忽略文件的配置方法：空行和#开头的行被忽略；glob 模式匹配，shell简化的正则表达式；最后加(/)表示忽略的是目录；在匹配模式之前加上(!)表示取反；(*)匹配零个或多个任意字符;[abc]匹配任意一个，a或者b或者c

原创 Java中，循环对bean的属性进行赋值

项目背景我们开发过程中会碰到这样一类问题，就是数据层或三方接口返回的Bean对象需要转换重新装换一下我们需要的对象。我们通常的做法就是通过getter/setter方法进行一个一个进行赋值，这样的话书写起来太复杂了，并且太重复了。我尝试写了一个工具类，能够对各种场景下的对象进行相互赋值。功能介绍可以为将要赋值的对象进行单个单个的按顺序赋值通过传递的属性的index（就是他是第几个属性）获取本属性的值返回对象中属性的数量两个对象之间相互拷贝属性值传递一个list,遍历bean进行赋值传递一个

原创 关于sql语句中，统计时间重叠和时间不重叠

关于sql统计时间重叠和时间不重叠的问题我们在开发过程中总会遇到这样的情况，一行数据中，有id、组、开始时间、结束时间。但是开始时间和结束时间肯定会出现时间重叠问题，比如说下面这种情况。我们先找出时间重叠的公式：可以发现：公式如下：a.alarm_type_id = b.alarm_type_id ANDa.start_time <= b.stop_time ANDa.stop_time >= b.start_time ANDa.id &l

原创 手写实现MVC+Mybatis框架，基本功能完全实现，并进行了一定的扩展。

一.手写MVC框架1.项目背景因为学校开始进行实训,然后进行选题，大多数的都是商城了,管理系统了什么的，这些项目大多数我都已经写过了，实在是太无聊了,然后项目要求用原生的servlet进行实现。。。。emmmm实在是太麻烦了，写一个请求就要创建一个servlet，所以我就想能不能自己实现一个类似于Dispatchservlet的servlet请求分发功能呢。因此该框架应运而生。2.技术栈Java基础，Java反射，注解，servlet，JavaWeb，jsp。3.功能实现可以自动扫描所有的

原创 Integer和String内存分配分析

一.关于Integer的分析直接上图开始分析：1. i == j ：false直接看一下编译之后的字节码可以看到，当执行Integer i= 200;的时候会执行Integer.valueOf这个方法,然后发现是创建了两个对象，所以肯定不相等public static Integer valueOf(int i) { // 这里就是传说中的Integer的常量池大小是 -128 ---- 127 if (i >= IntegerCache.low &&

原创 SpringMVC源码分析（三）

1.DispatcherServlet源码分析1.ViewResolver先来看一下继承关系AbstractCachingViewResolver：AbstractCachingViewResolver是一个抽象类，这种视图解析器会把它曾经解析过的视图保存起来，然后每次要解析视图的时候先从缓存里面找，如果找到了对应的视图就直接返回，如果没有就创建一个新的视图对象，然后把它放到一个用于缓存...

原创 SpringMVC源码分析（二）

1.DispatcherServlet源码分析1.@InitBinder(续)1.DataBinder概述package org.springframework.validation;此类所在的包是org.springframework.validation，所以可想而知，它不仅仅完成数据的绑定，还会和数据校验有关~DataBinder使用Demopublic static v...

原创 SpringMVC源码分析（一）

1.web基础1.servlet3.0新特性Servlet3.0规范是JavaEE6.0规范中的子规范。其要求运行环境最低是JDK6.0, Tomcat7.0而之前学习的是Servlet2.5版本的规范,其是JavaEE5.0规范的子规范。其要求运行环境最低是JDK5.0, Tomcat5.0在Eclipse中使用Serlet3.0规范,则需要在创建动态Web工程时就要指定。其具体用法是,...

原创 spring5源码解读——bean加载

一.注册 拦截bean创建的 bean处理器。// Register bean processors that intercept bean creation.registerBeanPostProcessors(beanFactory);/** * 实例化并注册所有BeanPostProcessor bean，如果给定，则遵循显式顺序。 * 必须在应用程序bean的任何实例化之前调用。...

原创 spring5源码解读——XML

一. 编译spring5源码准备环境Idea: 2019.2.3gradle: 4.9 (idea的插件）Kotlin: 1.2.41(idea的插件，需要选择1.2后面有讲解)JVM: 1.8.0_131(我只用了这个版本，其他的没有用到，但是听他们说高版本的不好使)安装gradle 4.9​ 2.1 官网地址https://downloads.gradle-...

原创 spring中级

一、基于注解的方式配置bean/bean的装配常用的注解@Component:标识为一个组件@Repository:标识为一个持久层的组件@Service:标识为一个业务层的组件@Controller:标识为一个表现层的组件@AutoWired:自动装配@Qualifier:具体的指定要装配的bean的id值开启注解配置<context:component-scan bas...

原创 spring初级

环境搭建导入jar包spring-core-x.x.x.RELEASE.jarspring-context-x.x.x.RELEASE.jarspring-beans-x.x.x.RELEASE.jarspring-expression-x.x.x.RELEASE.jarcommons-logging-x.x.x.jar创建applicationContext.xml配置...

原创 Spring Boot的错误处理机制

spring boot的默认处理机制默认效果：​ 1）、浏览器，返回一个默认的错误页面浏览器发送请求的请求头：2）、如果是其他客户端，默认响应一个json数据客户端发送请求的请求头：原理： ​ 可以参照***ErrorMvcAutoConfiguration***；错误处理的自动配置；ErrorMvcAutoConfiguration类主要是给容器中添加了以下组件：...

原创 mybatis源码分析-基础支持层

XPathParsermybatis提供给的类对原来的一些类进行了封装XPathParser中各个字段的含义和功能 public class XPathParser { private Document document; //Document对象 private boolean validation; //是否开启验证 private Entit...

原创 HDFS文件系统（二）

五. NameNode工作机制5.1 NameNode&Secondary NameNode工作机制第一阶段：namenode启动第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。客户端对元数据进行增删改的请求namenode记录操作日志，更新滚动日志。namenode在内存中对数据进行增删改查...

原创 HDFS文件系统（一）

一.HDFS概念1.1概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。1.2 组成HDFS集群包括，NameNode和DataNode以及Secondary Namenode。...

原创 hadoop源码编译

前期准备工作CentOS联网使用root用户编译jar包准备(hadoop源码、JDK7 、 maven、 ant 、protobuf)（1）hadoop-2.7.2-src.tar.gz（2）jdk-7u79-linux-x64.gz（3）apache-ant-1.9.9-bin.tar.gz（4）apache-maven-3.0.5-bin.tar.gz（5）pro...

原创 集群时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每日十分钟，同步一次时间。配置时间同步：时间服务器的配置检查ntp是否安装 rpm -qa|grep ntp修改ntp配置文件vi /etc/ntp.conf修改内容如下a）修改1 #restrict 192.168.1.0 mask 255.255.255.0 nomodi...

原创 Spring——AOP+Jdbc

Spring AOP面向切面编程（动态代理）动态代理实现：先定义接口类 package bh.shy.spring.aop; public interface ArithmeticCalculator { public int add(int i,int j); public int sub(int i,int j); public int mul(int i...

原创 Spring框架

SpringSpring 是什么Spring 是一个开源框架.Spring 为简化企业级应用开发而生. 使用 Spring 可以使简单的 JavaBean 实现以前只有 EJB 才能实现的功能.Spring 是一个 IOC(DI) 和 AOP 容器框架.具体描述轻量级：Spring 是非侵入性的 - 基于 Spring 开发的应用中的对象可以不依赖于 Spring 的 API...

原创 大数据——Hive分析项目案例

Hive分析项目案例梳理商业网站中经常统计的数据有哪些：UV：独立访客同一个用户访问多次会产生多个记录，但是这些记录会在运算的时候合并为1个语法：count(distinct guid)PV：页面浏览量同一个用户访问多次，产生多条记录，每一条记录都是一次PV语法：count(url)登陆人数：登陆网站访问的人数[普通会员，VIP，SVIP]endUserId标识...

原创 大数据——sqoop安装+案例

SqoopSQL-TO-HADOOP配置：开启zookeeper开启集群配置文件 * sqoop-env.sh #export HADOOP_COMMON_HOME= export HADOOP_COMMON_HOME=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/ #Set path to where hadoop-*-core...

原创 大数据——hive管理表的方式

Hive管理表的方式使用create创建一个新表 create table if not exists db_web_data.track_log( 字段 ) partitioned by (date string,hour string) （创建分区表） row format delimited fields terminated by '\t';把一张表的某些字段...

原创 大数据——Hive（基础操作）

建表语句 create table if not exists db_hive_demo.emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int) row format delimited fie...

原创 大数据——Hive（理论篇）

1.什么是Hive感性认知 数据库与数据仓库数据库： mysql、oracle、sqlserver、DB2、sqlite、MDB数据仓库： Hive，是MR的客户端，也就是说不必要每台机器都安装部署Hive理性认知：Hive的特性1、操作接口是采用SQL语法，HQL2、避免了写MapReduce的繁琐过程Hive体系结构1、Client** ...

原创 大数据——Zookeeper（理论篇）

1.1 概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Sla...

原创 大数据——MapReduce基础（MapReduce理论篇）

MapReduce理论篇2.1 Writable序列化&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;反序列化就是将收到字节序列（或其他数据

原创 大数据——MapReduce基础（MapReduce概念）

MapReduce概念&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Mapreduce核心功能是将用户编写的业务逻辑代码和自带默

原创 jdk发展历程

原创 JVM基础

什么是JVM：&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;JVM是一种规范或者说是一种理念。现在主要有三种JVM。&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&

原创 ssh免密登录

SSH无密码登录配置ssh（1）基本语法ssh 另一台电脑的ip地址（2）ssh连接时出现Host key verification failed的解决方法[root@hadoop2 opt]# ssh 192.168.1.103The authenticity of host ‘192.168.1.103 (192.168.1.103)’ can’t be established...

原创 JavaWeb总复习——servlet

http:要求:掌握一些头信息超文本传输协议:&amp;nbsp; &amp;nbsp; &amp;nbsp;&amp;nbsp; &amp;nbsp;规定数据的格式规定数据的格式规定数据的格式规定数据的格式浏览器往服务器发送 ---- 请求服务器往浏览器回写 ---- 响应请求:(request)组成部分:&amp;nbsp; &amp;nbsp; &amp;nbsp;&am

原创 JavaWeb总复习——jdbc

什么是jdbc：&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;java操作数据库.jdbc是oracle公司指定的一套规范(一套接口)​&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nb

原创 大数据——集群搭建过程中的异常和ssh免密登陆

ssh免密登陆//进到用户.ssh目录下[root@CentOS1 .ssh]$ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/beifeng/.ssh/id_rsa): Enter passphrase (empty for no pa...

原创 大数据——Hadoop集群的搭建

hadoop环境搭建注：三个重要网址&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;hadoop官方网址：hadoop.apache.org&amp;nbsp;&a