- 博客(9)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Java系列 : 反射 详解
什么是反射反射是Java的特性之一 , 它允许运行中的程序获取自身信息 , 并可以操作类或对象的内部属性 。简而言之 , 通过反射 , 我们可以在运行时获得程序或者程序集中每一个类型的成员和成员信息。Java反射主要提供以下功能 : 在运行时构造任意一个类的对象； 在运行时判断任意一个类所具有的成员变量和方法（通过反射甚至可以调用系统类private方法）； 在运行时调用任意一...
2018-12-31 11:46:52
168
原创 大数据系列 : Spark初探
什么是Spark官网介绍Apache Spark™是用于大规模数据处理的统一分析引擎。Spark诞生于U.C Berkeley的AMPLab , 它是这个世界上最重要的分布式大数据框架之一。它扩展了广泛使用的MapReduce计算模型。高效地支撑更多计算模型 , 包括交互式查询和流处理。Spark的一个主要特点是能够在内存中进行计算 , 即使依赖磁盘进行复杂的运算 , Spark依...
2018-12-29 17:46:34
1142
原创 Hadoop系列 : Yarn原理解析-工作流程
Yarn 概述Yarn是一个资源调度平台 , 负责为运算进程提供服务器运算资源Yarn上可以运行MapReduce、Storm、tez、Spark、Flink等分布式运算进程Yarn的运行流程client向yarn提交job , 首先找到ResourceManager分配资源 ResourceManager开启一个Container , 在Container中运行一个Appl...
2018-12-28 17:58:19
291
原创 JVM系列 : 字节码、指令、重排序
字节码简介1.计算机只能识别0 1 , 经过0 1的组合 , 产生了数字 , 0 1组合也产生了各种字符 , 各种机器指令2.不同的时代 , 不同产商 , 机器指令集(arm , x86 , rsic ...)是不同的3.CPU与指令集直接耦合 , 一个程序要在多个平台运行 , 需要多套代码4.如何实现跨平台 , 中间码(字节码)应运而生字节码实际应用1.字节码是JVM里指...
2018-12-27 17:29:57
1080
1
原创 Hadoop系列 : 精解MapReduce shuffle
shuffle简介MapReduce的shuffle一般是指Map输出到Reduce输入的整个过程。整个shuffle过程中伴随着大量的磁盘IO , 网络IO 。shuffle性能的高低 , 直接决定了整个程序的性能高低 。shuffle的字面意思是洗牌 , 即有序 - 无序的一个过程 , 比如JDK中的shuffle , 它的作用就是随机打乱集合中的元素 。但在MapReduce中 ...
2018-12-26 19:51:04
239
1
原创 在Intellij Idea中查看字节码文件
1.打开settings2.找到Plugin3.搜索jclasslib4.安装后重启5.编译已编译过的源文件6.打开插件7.查看字节码
2018-12-25 19:12:39
1066
原创 JVM系列 : 类加载、类加载器
不多说 , 直接干货类加载器简介Java类加载器是JRE的一部分，负责动态加载Java类到JVM内存。类通常是懒加载 , 显著降低了Java运行时与文件系统的耦合度。JVM的3个默认类加载器 :引导(Bootstrap)类加载器 。由Native代码编写 , 负责加载核心Java库。扩展(Extensions)类加载器。主要加载$JAVAHOME/jre/lib/ext下...
2018-12-25 18:46:36
288
转载 Hadoop系列 : MapReduce原理详解
一. MapReduce简介MapReduce是一个基于 java 的并行分布式计算框架，使用它来编写的数据处理应用可以运行在大型的商用硬件集群上来处理大型数据集中的可并行化问题，数据处理可以发生在存储在文件系统（非结构化）或数据库（结构化）中的数据上。MapReduce 可以利用数据的位置，在存储的位置附近处理数据，以最大限度地减少通信开销。MapReduce 框架通过编组分布式服务器，并...
2018-12-25 16:44:43
371
原创 Hadoop系列 : HDFS(Hadoop Distributed File System)基本功能及原理
HDFS(Hadoop Distributed File System)基本功能及原理一 、HDFS的基本概念HDFS有三个基本概念 , 数据块(Block) , 管理节点(NameNode) , 数据节点(DataNode)数据块(Block)HDFS默认的基本存储单元是64M的数据块元数据节点(NameNode)又名管理节点 , 它存储了文件与数据块的映射 , 以及数据块和...
2018-12-25 14:40:46
369
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人