qq_45494908的博客

原创 【Runtime.addShutdownHook 和 Spring优雅关闭之：registerShutdownHook】

-

原创 云主机部署 TiDB 测试集群

-

原创 java8函数式接口，以及stream流中map、peek、foreach区别

-

原创 【快速定位生产问题】

一个方法中如果只有使用局部变量，这个局部变量发生OOM，堆内存溢出，但是局部变量的生命周期是跟随这个方法的栈帧，方法异常结束后，会释放这部分空间。或者Eclipse Memory Analyzer (MAT)打开，查看占用百分比，打开后可以看每个实例，占用堆的大小…可以用jdk自带的 jvisualvm 装入，就在jdk的bin目录上（jvisualvm.exe），类型选堆。一个方法如果使用成员变量，并且对这个变量的操作导致OOM堆内存溢出，那么方法结束并不会释放空间。开启这个参数，并指定路径。

原创 【JVM结构、JVM参数、JVM垃圾回收】

-

原创 @Autowired 和 @Resource区别，简单测试容器中多个相同bean的情况

原创 【从加载数据库驱动包，理解java SPI】

-

原创 多线程之wait()、notify()/notifyAll()使用，并模拟生产/消费者模式

-

原创 Spring注解式编程

spring注解编程-IOC。

原创 为什么要有Python虚拟环境

(其实激活就是把当前虚拟环境下Scripts 目录临时添加到了 PATH 环境变量的第一位，这样也解释了，为啥要把 python.exe 也放到了 Scripts 目录下。这样后续执行python也是首选的当前环境下的python.exe )同样也注意，不是只有激活才能进入虚拟环境，当我们直接使用当前环境下Scripts 里的python.exe时，启动 python 也是在虚拟环境中了。不同的项目可能会用到相同包，的不同版本，或依赖的其他包，这样就没法区分当前项目使用哪个版本，即版本不兼容。

原创 部署Redis

部署Redis过程简要记录。

原创 【旧电脑改NAS（黑群晖DS1621+/42661）过程回顾和问题记录】

内置SSD硬盘引导安装黑群晖7.1。

原创 synchronized 同步方法和同步代码块，以及synchronized 加锁 this 和 类class 的区别

同步方法的锁用的是 这个方法所在的这个对象/类上的内置锁。同步代码块要具体分析参与抢锁的对象是否持有相同的对象锁（也就是this、类.class、变量…是否同一个对象）。

原创 【shell 脚本】

定义函数必须写在调用函数之前，而且是在最前，不能出现在中间。# 定义sum()函数echo $sum# 调用sum $1 $2。

原创 【ubuntu 20.04安装virtualbox过程】

VirtualBox for Linux

原创 【设计模式3_责任链、观察者】

-

原创 【设计模式4_建造者、装饰者、代理、适配】

-

原创 【设计模式2_工厂模式、策略模式】

-

原创 【设计模式1_单例模式】

-

原创 吉他&乐理

-

原创 【Vim】模式的切换、常用命令总结

使用vi 打开文件时，默认是命令行模式（普通），编辑模式、尾行模式的切换都需要经过命令行模式。

原创 【日志框架】

日志框架 Slf4J、log4j、logback 之间的关系以及如何在项目中使用。

原创 【正则表达式】笔记

-

原创 【Linux补充概念:CentOS、RedHat；Ubuntu、Debian；tar、rpm、yum、deb、apt-get】

-

原创 Redis/Zookeeper分布式锁

-

原创 初识 Nginx

-

原创 初识 Docker【包括Docker安装，镜像拉取，容器管理】

-

原创 Spark Listener & Spark on Yarn

作业运行中的监控也可以有API自己开发。继承SparkListenerInterface，实现作业开始前、后等需要做的操作。 然后在SparkConf中set自定义的SparkListener监听器。Spark on Yarn 可以 client提交yarn，可以spark集群提交yarn。client模式提交的机器可以是集群外的。 集群内的话二者其实区别不大，但生产还是推荐cluster模式；自测可以client，方便查日志。spark-shell与spark-submit 区别。

原创 创建虚拟机&设置静态IP&修改主机名称&hosts

-

原创 初识kafka

-

原创 Flink 【二】

windowwaterMark

原创 Flink 【一】

Flink特点、Flink的编程模型（获取执行环境、数据源、Transformations、数据输出Sink）、各阶段、算子的并行度、自定义数据源、自定义Sink

原创 【HashMap 数组长度为什么要是2的幂次方】

位运算代替取模运算、结果足够散列、Arrays.asList()创建的集合是不可变，它是Arrays的内部类ArrayList，而非java.util下的ArrayList

原创 初识ZooKeeper

-

原创 初识Azkaban

工作流调度，组织各任务单元之间存在的时间、依赖关系。常用的调度器：Azkaban 、 Azkaban 架构gradlew build 源码编译solo-server 模式和多节点模式Creating Flows、Azkaban二次开发一些场景&思路

原创 Spark SQL 【一】

Spark SQL与Hive on Spark 区别、SparkContext 与 SparkSession、Spark SQL 对接hive（spark-shell、spark-sql、thirftserver）

原创 Spark 学习【二】

闭包广播变量、计数器、自定义累加器宽依赖、窄依赖Spark作业提交Spark 配置&参数监控/ Web UI 4040

原创 Sqoop

截至目前，Hive 能实现的是，将hadoop的数据以SQL的方式操作：能在hive终端创建表和数据、能从本地oad数据到hadoop，也能从hadoop下载到本地。能提供hiveserver2作为服务端，交给beeline和jdbc做客户端操作数据。hive的元数据存在MySQL，但Hive的数据（hdfs的数据）并没有和MySQL有直接牵连。Sqoop数据需要从 Hadoop 导出 到 RDBMS，或者从RDBMS 到 Hadoop，如果使用 MR，代码很难写。Sqoop的作用就是在 hdf

原创 Hive 总结

HiveSQL on Hadoop：以SQL 和方式运行在Hadoop上。SQLUDF对大数据处理，最后落地最好都是SQL实现，受众所有语言的编程人员。对MapReduce来说需要开发大量代码。每一个框架的诞生都是为了去解决一类问题，没有一个框架能兼容所有场景。对于MR来说，就是用于：批计算、离线计算。 ==> Hive 也是。基于Hadoophive.apache.org由Facebook开源，处理海量结构化数据的统计问题。构建在Hadoop之上:Hive的数据是存在hd

原创 MapReduce

-