- 博客(11)
- 收藏
- 关注
RSS订阅
原创 浅谈对JUC的理解
文章目录JUC一、JUC简介二、多线程1.线程和进程2.多线程的优势3.线程安全3.1线程安全定义3.2 线程安全的解决方式3.3 什么是多线程之间的同步4.解决线程安全4.1使用同步代码4.2使用同步方法4.3使用Lock解决线程安全三、多线程的创建方式1.继承Thread类2.实现Runnable接口创建线程3.使用Callable和Future创建线程4.使用线程池四、JUC工具类1. ReentrantReadWriteLock2. CountDownLatch3. CyclicBarrier4.S
2021-09-01 15:38:43
578
原创 Akka模拟Spark通信架构过程
本文我们深度剖析了Spark架构演变过程中使用到的多种RPC实现，以及其使用技术的原理，具体的架构设计思路，并且模拟其实现案例，希望可以具体详实说明内容。
2022-04-29 15:13:49
351
原创 Netty下的spark网络通信框架
1 前言分布式系统必备的基础组件之一， 就是分布式网络通信框架。Spark 是一个通用的分布式计算系统，既然是分布式的，必然存在很多节点之间的通信,那么Spark不同组件之间就会通过RPC (Remote Procedure Call)进行点对点通信。01、driver 和master的通信，比如driver会向master发送RegisterApplication消息02、master 和worker的通信，比如worker会向master上报worker上运行的Executor信息03、exe
2022-04-18 15:08:03
2008
原创 对分布式事务、两阶段提交协议、三阶提交协议的思考
大家好，我是小亮。今天主要针对分布式事务、两阶段提交协议、三阶提交协议等内容进行整理概述，讲解它们的本质以及它们之间的关系。
2022-03-16 21:25:03
198
转载 Hadoop序列化和切片机制
文章目录切片机制一、数据切片源码详解二、数据切片机制Hadoop序列化（自定义传输对象）切片机制一个超大文件在HDFS上存储时，是以多个Block存储在不同的节点上，比如一个512M的文件，HDFS默认一个Block为128M，那么512M的文件分成4个Block存储在集群中4个节点上。Hadoop在map阶段处理上述512M的大文件时分成几个MapTask进行处理呢？Hadoop的MapTask并行度与数据切片又有什么关系，数据切片是对输入的文件在逻辑上进行分片，对文件切成多少份，Hadoop就会分
2021-09-03 15:19:46
150
原创 浅谈JVM
一、JVM入门1.JVM的常见问题请谈谈你对JVM的理解?java8的虚拟机有什么更新？什么是OOM？什么是StackOverflowError?有哪些方法分析？JVM的常用参数调优你知道哪些？谈谈JVM中，对类加载器你的认识？2.JVM的作用想要运行一个Java代码，需要具备JRE环境。而JRE中，包括Java虚拟机及Java的核心类库。Java程序员通常安装的JDK，则已经包括了JRE，还附带了常用的开发和诊断工具。Java虚拟机会将字节码，即class文件加载到JVM中。由JVM进
2021-08-31 14:56:32
248
原创 SparkStreming
SparkStreming复习WordCount获得streamingContext-sparkconf 参数配置-Second(3) 流数据被划分成该时间间隔的批数据new StreamingContext(sparkconf,Seconds(3))从socket流获得数据-监听的地址和监听的端口号ssc.socketTextStream("192.168.1.125",9999)最后要有ssc采集器的开启同时采集器要等待数据采集完毕ssc.start()
2021-05-04 16:04:18
110
原创 Numpy快速入门
Numpy介绍Numpy (Numerical Python) 是一个开源的Python科学计算库，用于快速处理任意维度的数组。Numpy支持常见的数组和矩阵操作。对于同样的数值计算任务，使用Numpy比直接使用Python要简洁的多。Numpy使用ndarray对象来处理多维数组，该对象是一个快速而灵活的大数据容器。ndarrayNumPy提供了一个N维数组类型ndarray，它描述了相同类型的"items"的集合优势存储风格ndarray - 相同的数据类型 - 通用性不强li
2021-01-03 22:11:51
114
2
原创 Scala的转换算子的用法(一)
Scala的转换算子的用法Value类型map算子函数签名函数说明mapPartitions算子函数签名mapPartitions和map的区别:函数说明优点：缺点：mapPartitionsWithIndex算子函数签名函数说明flatMap算子glom算子groupBy算子filter算子sample算子distinct算子coalesce和repartition算子sortby算子PartitionBy算子reduceByKey算子groupByKey算子aggregateByKey算子foldByK
2020-09-12 19:42:15
476
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人