心静自然亮

原创 IIS8.5安装urlrewrite2.0 后C:\Windows\system32\inetsrv\rewrite.dll 不能加载

iis8.5 安装urlrewrite2.0模块，出现503错误

原创 redis源码解析

从redis1.0分析核心事件模型、线程模型、数据模型

原创 spark sql

本文分析了spark sql的处理流程，介绍了spark sql与hive的集成方式

原创 spark streaming剖析

spark streaming 内部细节剖析以及以kafka作为数据源的使用介绍

原创 spark深度剖析

本文介绍了spark的核心概念，分析了运行流程以及底层原理

原创 使用kubeadm创建集群失败报Unable to register node with API server

使用kubeadm 创建k8s集群失败原因分析

原创 SQL Server 2008分区表数据归档

分区表中的历史数据进行归档，主要涉及以下5个步骤,代码中的tbl_source为分区表，staging_work为归档工作表创建归档表归档表需要与源表结构保持一致，具有相同的索引归档表与源表位于同一文件组归档必须为空表分区切出ALTER TABLE tbl_source SWITCH PARTITION 1 TO staging_work GO分区重用归档表(staging_work)的数据完成归档后，对其进行清除，进行分区重用TRUNCATE TABLE staging_wor

原创 SQL Server使用bcp导出数据报Error = [Microsoft][SQL Server Native Client 11.0]无法打开 BCP 主数据文件

如果确定命令无问题，需要检查目录sql server是否有写入权限

原创 System.Data.SqlClient.SqlException (0x80131904): 过程或函数 ‘XX‘ 需要参数 ‘XX‘，但未提供该参数

调用存储过程时，如果确认存储过程以及代码都没问题，还是提示System.Data.SqlClient.SqlException (0x80131904): 过程或函数 ‘XX’ 需要参数 ‘XX’，但未提供该参数，检查是否通过Add(String, SqlDbType)，同时又未指定CommandType,如果未设置CommandType,设置CommandType即可。...

原创 mysql优化

数据采集profileperformance_schemeshow processlist索引监控执行计划优化设计优化数据类型整型字符串日期枚举类型合理使用范式和反范式主键选择代理主键和自然主键，推荐使用代理主键字符集选择latin1utf-8 md4不同字段定义不同类型数据引擎选择适当冗余适当拆分拆分大字段（text/varchar）通过索引优化索引数据结构hashB+tree索引匹配方式全值匹配最左匹配匹配列前缀匹配范围值精确匹

原创 zookeeper核心要点

zookeeper zk zab

原创 一张图的redis

基础知识硬盘寻址时间ms级，带宽为G(M)/s内存的寻址时间为ns级，带宽为G/sIO buffer:由于硬盘每个扇区只有512个字节，效率低，速度慢，成本高，为了解决这些问题，引入IO buffer，以4k为单位读写数据epollbio->nio->select->poll...

原创 SpringBoot启动流程

Spring Boot启动流程SpringBoot启动过程主要分为bootstrapContext创建、环境准备、applicationContext准备、bean加载、runner调用五个步骤SpringBoot启动过程分为操作线和事件线（图中蓝色标识），操作线包括上面的五个步骤，而事件线负责事件触发，通知事件监听者模块的自动装配类（Auto-configuration）实际上就是一个普通的@Configuration bean,被配置在META-INF/spring.factories中，Au

原创 集群内高并发基础

网络分层模型OSI模型与TCP/IP模型对比TCP/IP模型详情TCP/IP协议：IP端到端的通信，MAC点到点通信数据包转发模型NAT（网络地址转换）NAT是一种把私有地址转换为公网地址的技术，NAT会修改IP报文的源IP地址和目标IP地址，如上图，当192.168.1.6和192.168.1.9请求www.xxx.com时，具有NAT功能的路由器会把请求路由到公网IP,并替换源IP地址为公网IP地址及端口，当请求返回时，再把公网IP替成私网IP地址，然后路由到私网DR（直接路由）

原创 JVM详解

jvm虚拟机基础概念class文件结构内存加载过程运行时内存结构jvm指令jvm调优虚拟机基础概念jvm：java虚拟机，一台虚拟的计算机，目前具有语言独立性和平台独立性，各种语言编写的程序，只要编译成java字节码，都可以运行在java虚拟机上，不用关心底层平台是window还是linuxclass文件：java字节码文件，程序编译之后生成的文件，jvm只认该文件编码到执行jvm规范：jvm由jvm规范描述，具体的实现有各个厂商（开发者）定义class文件结构内存加载过程运行时内存

原创 基于ARR(Application Request Routing)扩展在IIS8.5上建立反向代理

ARR简介ARR是IIS 7及以上的一个扩展模块，主要是基于HTTP头、服务器变量、负载均衡算法把HTTP请求转发到后端服务器，详细的介绍参考帮助文档，微软的文档比较全，接下来的安装及配置，只做概要梳理以及注意事项，详情参见帮助文档安装安装urlrewrite安装ARR配置Web Farms(后端服务器)创建Server Farms添加后端Server配置健康检查配置代理如果后端服务器响应头带有后端的host,需要重写，则要勾上Reverse rewrite hos

原创 StackExchange.Redis.RedisConnectionException: No connection is available to service this operation分析

原因这个错误告诉说明客户端与redis服务连接建立失败，失败的原因主要有以下几方面：redis服务问题网络问题StackExchange.Redis自身存在的bug解决办法redis服务问题可以通过redis日志查看具体的问题是什么，是配置不当或者redis崩溃等服务器连接过大，升级服务器配置或者做redis拆分网络问题因网络的质量问题，在不考虑更换网络的情况下，可以考虑调整StackExchange.Redis配置，增加连接重试次数（connectRetry）或者连接超时时间

原创 IIS8.5安装URL Rewrite模块后，访问出现503错误

环境IIS8.5、Windows Server2012 R2、URL Rewrite2.1系统应用程序日志模块 DLL C:\Windows\system32\inetsrv\rewrite.dll 未能加载。返回的数据为错误信息。原因1、程序包问题，可以尝试修复或者卸载重新安装2、系统问题，尝试安装所有系统重要更新...

原创 JAVA多线程与高并发

JAVA多线程与高并发基本概念线程实现线程基本方法线程状态线程同步同步工具同步容器线程池基本概念线程实现继承Thread实现Runnable接口Lambda表达式（底层也是基于实现Runnable接口）线程基本方法sleepyield(让出一轮cpu时间片)join 等待当前线程完成线程状态#mermaid-svg-HWb9FSUdO7BOUw5a .label{font-family:'trebuchet ms', verdana, arial;font-family:var

原创 程序员需要了解的底层知识

程序员需要了解的底层知识概要计算机组成操作系统概要本文主要归纳和整理程序设计开发中需要了解和使用到的底层硬件和操作系统相关知识，操作系统以linux为参考计算机组成操作系统

原创 java web基本原理

原创 Spring MVC核心架构理解

概述web应用绝大部分是基于分层架构的，包括web层、服务层、数据访问层等， Spring web MVC同样是支持这种分层架构，同时基于各层对象所处的环境分为业务上下文（business context）和展示上下文(presentation context),业务上下文包括服务对象、数据对象、数据存取对象等，通过配置ContextLoaderListener相关参数来初始化对应的容器，展示上下文包括视图对象、controller等用于页面展示的对象，通过配置DispatcherServlet相关参数来

原创 IntelliJ IDEA配置Tomcat时报Application server libraries not found错误

问题IDEA在配置Tomcat时，出现Application server libraries not found错误提示原因Tomcat版本过高，IDEA不支持解决方法升级IDEA版本或者降低Tomcat版本

原创 docker环境下配置redis外部访问

配置docker 与宿主端口映射注释掉redis bind配置或者改为bind 0.0.0.0

原创 Spring Framework核心详解

一张图理解Spring Frameworkbean生命周期BeanNameAware’s setBeanNameBeanClassLoaderAware’s setBeanClassLoaderBeanFactoryAware’s setBeanFactoryEnvironmentAware’s setEnvironmentEmbeddedValueResolverAware’s setEmbeddedValueResolverResourceLoaderAware’s setResource

原创 SQLServer高可用方案（日志传送、镜像、复制）对比分析

SQLServer高可用方案（日志传送、镜像、复制）对比分析概述网络拓扑结构方案分析总结概述本文对SQL Server镜像、日志传送、复制三种高可用方案进行对比，分析其特点。（注：2012开始推出AlwaysOn组件，将来镜像功能将被移除）网络拓扑结构方案分析镜像日志传送复制方案解释维护一个数据库的两个副本，把主服务器上的物理事务日志记录按顺序重放到镜像服务器上将主服务器上主库的事务日志备份发送到辅助服务器上的辅助库，并把事务日志应用到辅助库上把数据和数据库对象从一

原创 windows环境下编写linux shell脚本运行时多出\r

原因这是因为各操作系统行结束符不一样导致的，在windows上是CRLF，类unix系统是LF,而在Macintosh上是CR解决方式编写shell脚本前先设置好对应操作系统的格式，一般都在右下角有选择，比如vs code,nodepad++如下：2.在linux系统上用vi/vim打开脚本文件进行格式转换:set ff=unix:wq...

原创 Spring事务管理

Spring事务管理核心模型事务管理方式分类声明式事务管理注解驱动事务配置（TransactionManager）modeproxy-target-class注意事项事务注解配置（@Transactional）事务传播类型PROPAGATION_REQUIRED（一个物理事务，多个逻辑事务）PROPAGATION_REQUIRES_NEW（多个物理事务）PROPAGATION_NESTED（一个物理事务，多个savepoint）编程事务Spring抽象了事务管理策略模型，为处理不同实现机制的事务提供了统一

原创 centos7中安装mysql8出现缺少openss等依赖问题分析

系统环境centos7版本:minimalmysql版本：8.0安装方式通过yum仓库在线安装错误日志错误：软件包：mysql-community-client-8.0.22-1.el8.x86_64 (mysql80-community) 需要：libtinfo.so.6()(64bit)错误：软件包：mysql-community-server-8.0.22-1.el8.x86_64 (mysql80-community) 需要：libstdc+

原创 一张图理解AOP关键概念

AOP概念理解Aspect（切面）Joint Point（连接点）Advice（通知）Pointcut（切入点）IntroductionTarget objecAOP ProxyWeaving这里已函数调用跟踪为例，Calculate为计算器类，有加、减、 乘、除四个方法。Trace为跟踪类，有跟踪参数和跟踪结果两个方法Aspect（切面）Joint Point（连接点）Advice（通知）Pointcut（切入点）IntroductionTarget objecAOP ProxyWeav

原创 css盒子模型及定位

盒子模型margin 元素之间的距离padding:元素与边框之间的距离border :边框padding、border可以让元素向外拓展元素定位只有定位元素才有left、right、top、bottom属性固定定位脱离文档流以网页（浏览器窗口）为参照不占用起始位置如文档有滚动条，不随文档一起滚动，固定在浏览器窗口某个位置上相对定位以起始位置为参照，相对起始位置偏离占用起始位置绝对定位脱离文档流如果有定位父元素，则以父元素为参照，否则以文档位置为参照（子

原创 aspnetcore源码编译剖析

问题C:\Users\node\.nuget\packages\microsoft.dotnet.arcade.sdk\1.0.0-beta.20509.7\tools\Tools.proj : error : . net core sdk的版本 5.0.100 至少需要 msbuild 的 16.8.0 版本。当前可用的 msbuild 版本为 16.3.0.46305。将在 global. json 中指定的. net core sdk 更改为需要当前可用的 msbuild 版本的旧版本。C:\

原创 JDBC解析

数据库连接池DBCPc3p0DBCPc3p0

原创 JAVA线程及线程池要点

#mermaid-svg-avoqBnIWldE6L7kL .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-avoqBnIWldE6L7kL .label text{fill:#333}#mermaid-svg-avoqBnIWldE6L7kL .node rect,#mermaid-svg-avoqBnIWld

原创 JAVA集合结构

Collection#mermaid-svg-sb71MsBeLxRx7GbC .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-sb71MsBeLxRx7GbC .label text{fill:#333}#mermaid-svg-sb71MsBeLxRx7GbC .node rect,#mermaid-svg

原创 JAVA IO流结构图

字节流输入流:root { --mermaid-font-family: "trebuchet ms", verdana, arial;}#mermaid-svg-wZSvTRf2BOO3EOje { color: rgba(0, 0, 0, 0.75); font: ; }InputStreamFileInputStreamObjectInputStreamFilterInputStreamByteArrayInputStreamPipeInputStreamSequenceIn

原创 nofollow能否禁止爬虫爬取

nofollow能否禁止爬虫爬取nofollow本意nofollow作用总结nofollow本意nofollow标签是由谷歌领头创新的一个“反垃圾链接”的标签，引用nofollow标签的目的是告诉搜索引擎不要抓取带有nofollow属性的任何出站链接，以减少垃圾链接的分散网站权重！nofollow作用带有nofollow属性的链接不计算权重付费链接，防止付费链接影响权重按优先级进行抓取总结nofollow只是不计入权重，但是还是会被蜘蛛爬取，收录，如果要禁止爬取，采用robots..

原创 conda跨平台导出环境依赖

只需要在导出命令中添加--from-history参数，这样就只包含手动安装的包，不包括包的依赖包。conda env export --from-history

原创 java基础注意事项

java5后classpath环境变量不需要在设置

原创 git常用命令大纲

git常用命令配置创建命令提交查看状态回退远程操作冲突解决分支管理不跟踪文件设置（.gitignore ）配置git configgit config --global user.namegit config --global user.email创建命令git initgit clone提交git addgit commit查看状态git status回退git restoregit rmgit reset远程操作git pushgit pullg