Spring IOC 容器源码分析

本文转自https://javadoop.com/post/spring-ioc Spring 最重要的概念是 IOC 和 AOP,本篇文章其实就是要带领大家来分析下 Spring 的 IOC 容器。既然大家平时都要用到 Spring,怎么可以不好好了解 Spring 呢?阅读本文并不能让你成为...

2019-06-29 23:33:57

阅读数 27

评论数 0

Docker 核心技术与实现原理

Docker 核心技术与实现原理 博客引自:https://draveness.me/docker 提到虚拟化技术,我们首先想到的一定是 Docker,经过四年的快速发展 Docker 已经成为了很多公司的标配,也不再是一个只能在开发阶段使用的玩具了。作为在生产环境中广泛应用的产品,Docke...

2019-05-12 21:29:32

阅读数 23

评论数 1

Spark总结02

下面的是对Spark总结01的复习以及详细的讲解 一、作业提交的执行流程 1)Spark程序写完之后,就要提交到spark集群上面去运行,这就是spark作业(一次代码的运行+一份数据的处理+一次结果的产出)。 2) Spark作业是通过spark集群中的多个独立的进程(exec...

2019-04-14 22:52:40

阅读数 55

评论数 0

SparkSQL代码案例

1、创建DataFrame的方式 package com.netcloud.bigdata.sparksql import java.util.Properties import org.apache.spark.sql.{SaveMode, SparkSession} /** * ...

2019-04-03 15:30:20

阅读数 76

评论数 0

Shuffle源码分析 Shuffle Write 和 Shuffle Read

step1:HashShuffleWriter.scala /** * 将ShuffleMapTask partition中的数据 写入磁盘 * @param records */ override def write(records: Iterator[Prod...

2019-03-24 17:19:22

阅读数 97

评论数 0

Task源码分析

step1:Executor.scala /** * 1) 从TaskRunner开始,就是我们的Task运行的工作原理。然后一步步来剖析Task内部的工作原理。 ysj * 2) 执行线程的run方法。 * a) 通过网络传输,将需要的文件、资源、jar包拷贝过...

2019-03-23 21:53:24

阅读数 32

评论数 0

Executor源码分析

step1:CoarseGrainedExecutorBackend.scala /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements...

2019-03-22 23:26:59

阅读数 81

评论数 0

TaskScheduler提交TaskSets中的每个task到Executor执行源码分析

step1:DAGScheduler.scala submitTasks()方法 /** Called when stage's parents are available and we can now do its task. */ /** * 提交Stage 为stage创...

2019-03-19 23:59:05

阅读数 107

评论数 0

Linux Shell编程第四章sed命令和awk编程

Sed简介 sed是一种新型的,非交互式的编辑器。它能执行与编辑器vi和ex相同的编辑任务。sed编辑器没有提供交互式使用方式,使用者只能在命令行输入编辑命令、指定文件名,然后在屏幕上查看输出。sed编辑器没有破坏性,它不会修改文件,除非使用shell重定向来保存输出结果。默认情况下,所有的输出...

2019-03-19 18:03:39

阅读数 163

评论数 0

SparkContext初始化时如何创建TaskScheduler、发送注册Application请求、Master进行注册、以及Executor进程的启动源码分析

一、创建TaskScheduler、然后发送注册Application请求 SparkContext.scala sparkContext初始化的时候创建TaskSchedule 这里主要分析 TaskScheduler对象如何创建, 如何向Master发送注册Application...

2019-03-19 11:44:02

阅读数 40

评论数 0

DAGScheduler 划分stage算法和提供task最佳位置算法剖析

1) sc.textFile分析 /** * 1、首先hadoopFile()方法的调用会创建一个hadoopRDD,其中的元素其实是<k,value>pair * key是hdfs或者是文本文件的每一行的offset,value是文本行。然后...

2019-03-18 23:05:10

阅读数 32

评论数 0

Spark分组取TopN

1、对文本文件中的数字,获取最大的前三个。 代码实例: package com.netcloud.spark.sparkcore.projectpractice; import org.apache.spark.SparkConf; import org.apache.spark.api....

2019-03-16 13:47:35

阅读数 80

评论数 0

spark二次排序示例代码

java的代码: 自定义key package com.netcloud.spark.sparkcore.projectpractice; import scala.math.Ordered; import java.io.Serializable; import java.util.O...

2019-03-14 23:00:58

阅读数 34

评论数 0

shell编程(五)

通过前几篇文章的学习,我们学会了shell的基本语法。在linux的实际操作中,我们经常看到命令会有很多参数,例如:ls -al 等等,那么这个参数是怎么处理的呢? 接下来我们就来看看shell脚本对于用户输入参数的处理。 命令行参数处理 根据参数位置获取参数 bash shell可根据参数...

2019-03-14 16:31:03

阅读数 58

评论数 0

shell编程(四)之循环语句-for, while, until

上篇我们学习了shell中条件选择语句的用法。接下来本篇就来学习循环语句。在shell中,循环是通过for, while, until命令来实现的。下面就分别来看看吧。 for for循环有两种形式: for-in语句 基本格式如下: for var in list do c...

2019-03-14 16:13:17

阅读数 72

评论数 0

shell编程(三)

通过前两篇文章,我们掌握了shell的一些基本写法和变量的使用,以及基本数据类型的运算。那么,本次就将要学习shell的结构化命令了,也就是我们其它编程语言中的条件选择语句及循环语句。 不过,在学习shell结构化命令的时候,我们又会发现它与其它编程的语言相比存在不小的区别。下面就开始看看吧: ...

2019-03-14 15:55:03

阅读数 46

评论数 0

shell编程(二)

shell编程(二) 上篇我们学会了如何使用及定义变量。一般接下来就该学基本数据类型的运算了。 没错,本篇就仍是这么俗套的来讲讲这无聊但又必学的基本数据类型的运算了。 基本数据类型运算 操作符 符号 语义 描述 + 加 10+10,结果为20 - 减 ...

2019-03-14 15:08:37

阅读数 28

评论数 0

shell编程(一)

shell编程(一) 如今,不会Linux的程序员都不意思说自己是程序员,而不会shell编程就不能说自己会Linux。说起来似乎shell编程很屌啊,然而不用担心,其实shell编程真的很简单。 背景 什么是shell编程 高大上的解释,往往让人摸不住头脑。一句话概括就是:shell编程...

2019-03-14 14:44:38

阅读数 136

评论数 0

基于排序机制的wordcount程序

Java代码: package com.netcloud.spark.sparkcore.projectpractice; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; imp...

2019-03-13 17:58:50

阅读数 31

评论数 0

共享变量java和scala代码的实现

java代码: package com.netcloud.spark.sparkcore.sharevariable; import org.apache.spark.Accumulator; import org.apache.spark.SparkConf; import org.apa...

2019-03-10 15:18:08

阅读数 53

评论数 0

提示
确定要删除当前文章?
取消 删除