自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(148)
  • 资源 (3)
  • 收藏
  • 关注

原创 K线反转形态--锤子线与上吊线

1.反转形态K线中的反转形态是指之前的趋势将发生变化,但是未必一定反转,这里需要和日常生活中的“反转”加以区别。如果以前是上升趋势,反转后可能是震荡趋势或者下降趋势;如果以前是下降趋势,反转后可能是震荡趋势或者上升趋势。锤子线和上吊线是非常经典的单K线反转形态。2. 锤子线判断标准:实体处于整个价格区间的上端。实体不区分阴阳线。出现在明显的下跌趋势中,下影线的长度应该达到实体高度至少2倍。最好没有上影线,即使有上影线,其长度也是极短的。3.上吊线判断标准:实体处于整个价格区间的上

2021-03-02 11:31:05 53

原创 回归算法--线性回归算法原理

原理

2021-01-24 20:05:14 39

原创 hive如何实现行列转换

1. 行转列原始数据:nameconstellationblood_type孙悟空白羊座A大海射手座A宋宋白羊座B猪八戒白羊座A凤姐射手座A现在需要把星座和血型一样的人归类到一起。结果如下:射手座,A 大海|凤姐白羊座,A 孙悟空|猪八戒白羊座,B 宋宋# vim person.txt孙悟空,白羊座,A大海,射手座,A宋宋,白羊座,B猪八戒,白羊座,A凤姐,射手座,A# 创建hive表hive> c

2020-09-07 11:02:01 86

原创 kafka服务端源代码分析之Controller(1)

controller1.controller简介2.请求发送管理本broker请求发送给其他broker3.请求处理4.controller选举实现

2020-08-30 15:20:44 50

转载 Spark SQL Join实现原理

参考https://www.cnblogs.com/duodushuduokanbao/p/9911256.html

2020-08-27 23:34:19 292

原创 kafka服务端源代码分析之Controller选举

controller 选举过程

2020-08-27 16:21:25 105

原创 kafka服务端源代码分析之Broker元数据(MetadataCache)

MetadataCache

2020-08-20 22:56:36 135

原创 kafka服务端源代码分析之ReplicaManager

ReplicaManager

2020-08-19 00:19:18 49

原创 kafka服务端源代码分析之副本拉取Leader消息

副本拉取leader 消息

2020-08-18 23:02:58 136

原创 kafka服务端源代码分析之日志(1)

kafka日志目录kafka 的日志最终是以文件的形式存储的,每个topic的分区都对应一个物理存储目录,也就是一个Log。为了避免日志文件多大,Log并不是直接对应于磁盘上的一个日志文件,而是分成多个Logsegment。Logsegment对应磁盘上一个日志文件和三个索引文件,索引文件是为了实现消息的快速定位。入下图所示:total 2.3G-rw-r--r--. 1 root root 520K Jul 19 03:25 00000000000000000000.index # offset

2020-08-11 10:09:38 110

原创 kafka服务端源代码分析之网络层

网络层设计1.Acceptor2.Processor3.RequestChannel4.KafkaRequestHandlerPool5.启动流程

2020-08-02 22:55:10 65

原创 Spark Streaming整合kafka实现ExactlyOnce语义

整合kafka

2020-08-02 22:54:47 80

原创 spark streaming运行原理源代码分析

运行流程streamingcontext启动start方法def start(): Unit = synchronized { state match { case INITIALIZED => startSite.set(DStream.getCreationSite()) StreamingContext.ACTIVATION_LOCK.synchronized { StreamingContext.assertNoOt

2020-07-30 10:56:02 56

原创 Spark Streaming应用程序调优

调优

2020-07-29 00:22:49 30

原创 Spark Streaming高可用HA

Spark Streaming任务在运行过程中无论是Driver还是Executor异常被中断,都有可能导致计算任务失败,进而导致数据丢失等一系列问题,为此Spark Streaming提供了高可用解决方案。Driver高可用Driver是Spark Streaming程序的"大脑",一旦Driver挂掉,那么整个任务都会失败。Spark Streaming HA将Driver元数据写到checkpoint目录下,如果后面因为某些原因导致Driver节点挂掉,那么可以通过读取checkpoint目录下的

2020-07-27 00:08:58 83

原创 Spark Broadcast源代码分析

Broadcast源代码分析1.broadcastmanager的初始化2.广播变量broadcast写入值的流程3.广播变量value获取值的流程参考:https://blog.csdn.net/weixin_40318210/article/details/104097983

2020-07-24 23:14:57 42

原创 Spark Cache源代码分析

spark Cache源代码

2020-07-24 22:01:06 38

原创 Spark BlockManager源代码分析

blockmanager概要1.基本介绍2.架构框图3.blockmanagermaster初始化,主要方法4.blockmanager初始化,主要方法参考:https://blog.csdn.net/u013174239/article/details/80429803

2020-07-22 23:59:44 671

原创 kafka 服务端源代码分析之LogManager

基本概念OffsetIndexLogSegmentLogappend 和 read方法LogManager初始化startup启动后台任务

2020-07-19 22:38:27 75

原创 akka基本使用

使用入门

2020-07-08 11:25:09 95

原创 Spark job提交流程源代码分析

spark job提交流程概述job stage task 概念图形展示基本流程源代码分析总结

2020-06-28 22:45:18 87

原创 SparkContext 初始化源代码分析

SparkContext 初始化流程源代码分析...val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode)// yarn cluster 模式下返回 YarnClusterSchedulerBackend YarnClusterScheduler_schedulerBackend = sch...

2020-06-26 17:08:06 71

原创 strace命令使用

命令介绍strace是Linux环境下的一款程序调试工具,用来输出一个应用程序所使用的系统调用。strace底层使用内核的ptrace特性来实现其功能。什么是系统调用?常用选项-tt 在每行输出的前面,显示毫秒级别的时间-T 显示每次系统调用所花费的时间-v 对于某些相关调用,把完整的环境变量,文件stat结构等打出来。-f 跟踪目标进程,以及目标进程创建的所有子进程-e 控制要跟踪的事件和跟踪行为,比如指定要跟踪的系统调用名称-o 把strace的输出单独写到指定的文件-s 当

2020-06-23 13:58:35 60

原创 HDFS源代码分析之DataNode BlockScanner实现

BlockScanner实现

2020-06-22 10:24:07 117

原创 HDFS源代码分析之DataNode DirectoryScanner实现

DirectoryScannerDirectoryScanner的主要任务是定期扫描磁盘上的数据块,检查磁盘上的数据块信息是否与FsDatasetImpl中保存的数据块信息一致,如果不一致则对FsDatasetImpl中的信息进行更新。注:DirectoryScanner只检查内存和磁盘上FINALIZED状态的数据块是否一致。public class DirectoryScanner implements Runnable { ... // 异步收集磁盘数据块信息的线程池 privat

2020-06-22 10:17:23 109

原创 Hbase源代码编译

软件版本hbase版本: 1.2.6maven版本: 3.5.0jdk版本: 1.8编译步骤1.下载并解压源代码包tar xf hbase-1.2.6-src.tar.gz2.将pom.xml中的hadoop-two.version属性值修改为要指定的hadoop版本(我这里选择2.7.7)<hadoop-two.version>2.7.7</hadoop-two.version>3.编译打包mvn clean package -DskipTests ass

2020-06-06 17:12:18 211 2

原创 算法系列之分治法

分治法

2020-05-31 15:28:16 105

原创 Idea如何远程调试

背景分布式系统中日志是定位各种线上问题的重要手段,但是日志不能完全反映程序运行时的所有信息。下面介绍一种重量级的手段-远程调试,JVM远程调试通过JDWP协议。JDWP 是 Java Debug Wire Protocol 的缩写,它定义了调试器(debugger)和目标虚拟机(target vm)之间的通信协议。Target vm 中运行着我们要调试的 Java 程序,它与一般运行的 JVM 没有什么区别,只是在启动时加载了 JDWP Agent 从而具备了调试功能。而 debugger 就是我们本地

2020-05-27 17:56:10 69

原创 Hadoop源代码编译

安装

2020-05-19 10:37:14 56

原创 Spark yarn cluster模式Application提交流程源代码分析

源代码分析

2020-04-29 11:35:02 223

原创 JVM常见垃圾回收器

1.对象分配与回收策略1.对象优先在eden分配2.大对象直接进入老年代3.长期存活对象进入老年代4.TLAB对象分配2.常见垃圾回收器1.串行回收器串行回收器是最古老的垃圾回收器,串行回收器的工作特点:a. 单线程垃圾回收。b. 独占式垃圾回收,当进行垃圾回收时,应用程序需要暂停,也就是STW(Stop The World)现象。常见参数:-XX:+UseSerialGC:...

2020-04-27 00:22:38 137

原创 String,StringBuilder和StringBuffer有啥不一样

对比

2020-04-17 11:05:04 59

原创 java反射中Class.forName和classloader差异对比

https://blog.csdn.net/ibliplus/article/details/81175537

2020-04-17 10:23:14 99

原创 java包装类自动拆装箱tips(-128到127缓存问题)

-128到127缓存问题java包装类很多同学在日常的工作中都会大量使用,它将基本类型封装成对象后使其也能像普通对象一样具有面向对象的特性,但是也有一些tips需要注意。java包装类中Integer和Long对-128到127的对象会先创建一个缓存池,在使用这个范围内的对象valueOf方法会直接返回缓存池中的对象,只有不在这个范围内的对象才重新创建。以Integer的源代码为例,具体实现...

2020-04-16 10:47:54 59

原创 ==与equals到底有啥不一样

基础

2020-04-15 11:34:19 53

原创 Comparable和Comparator有啥不一样

Comparable 是排序接口,若一个类实现了Comparable接口,就意味着“该类支持排序”,这时调用集合的排序方法时就可以实现排序。Comparable 定义Comparable位于java.lang包下。具体定义如下:public interface Comparable<T> { /** ** 返回值: 0 => this对象与对象o相等 大于0...

2020-04-14 16:19:17 32

原创 spark RPC使用

HelloworldServer.scalaobject HelloworldServer { def main(args: Array[String]): Unit = { val conf = new SparkConf() val securityManager = new SecurityManager(conf) val rpcEnv: RpcEnv = ...

2020-04-13 22:32:24 43

原创 synchronized 使用方法与实现原理

关键字原理

2020-04-12 15:39:03 70

原创 java Atomic类使用

JUC包中除了锁,还提供了原子操作来实现线程并发对临界资源的互斥访问。Atomic包中提供了多种类型的原子操作类:它们都是CAS(compareAndSwap)来实现原子性。1.AtomicIntegerpublic class AtomicIntegerTest { public static void main(String[] args) { Atomic...

2020-04-12 15:07:18 97

原创 mysql 的那些常见连接方式

Join介绍Join是SQL语句中非常重要的一个运算操作,常见的Join操作如下:mysql 官方只提供了内连接,左外连接,右外连接三种方式。通过一定的方法也可以实现其它的连接。数据准备a.创建两张表create table `person` ( `id` int(11), `name` varchar(255), `city_id` int(11) ) ;crea...

2020-04-09 22:11:05 68

java程序习题练习集

简单实用,易学易懂,紧贴考试,是备考学子不可缺少的!

2011-05-07

kafka-2.2.0-src.zip

搭建kafka 源代码阅读环境的工程文件,解压即可运行。

2019-08-22

pclint使用经验

pclint 8.0软件,解压即可使用。

2015-07-25

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除