VectorYang-CSDN博客

原创分布式协同AI基准测试KubeEdge-Ianvs快速入门教程

分布式协同AI基准测试KubeEdge-Ianvs是KubeEdge SIG AI孵化的一个全新的社区子项目，主要来解决工业界如下核心痛点：1. 业务数据集及其配套算法难以获取；2. 全场景多范式测试成本高；3. 封闭测试环境难以跟上各类新业务孵化；4. 个性场景的测试用例准备繁琐。............

2022-07-28 01:43:26 2434 3

原创 Spark内核源码深度剖析：Master注册机制原理剖析与源码分析

Master注册机制原理剖析和master.scala中Application注册原理代码剖析

2017-07-16 15:19:19 784

原创 Spark内核源码深度剖析：Master主备切换机制原理剖析与源码分析

Master主备切换机制的原理图解和重要源码分析

2017-07-11 18:23:15 705

原创 Spark内核源码深度剖析：SparkContext原理剖析与源码分析

SparkContext原理剖析与源码分析。

2017-07-07 15:56:19 1648

原创 Spark内核源码深度剖析：基于Yarn的两种提交模式深度剖析

Spark的三种提交模式：1、standalone模式，基于Spark自己的Master-Worker集群。 2、第二种，是基于YARN的yarn-cluster模式。 3、第三种，是基于YARN的yarn-client模式。

2017-07-06 11:30:52 516 1

原创 Spark内核源码深度剖析：宽依赖与窄依赖深度剖析

通过WordCount的例子图解深度剖析宽依赖和窄依赖

2017-07-05 10:36:41 536

原创 Spark内核源码深度剖析：Spark内核架构深度剖析

Spark内核构架图解

2017-07-04 11:34:55 664

原创 Spark核心编程：高级编程之topn

案例：对每个班级内的学生成绩，取出前3名1>文件部分数据

2017-07-03 23:06:53 455

原创 Spark核心编程：高级编程之二次排序

案例说明：1.按照文件中的第一列排序。 2.如果第一列相同，则按照第二列排序。

2017-06-30 20:28:22 682

原创 Spark核心编程：高级编程之基于排序机制的wordcount程序

通过一个案例来深入基于排序机制的wordcount程序案例需求：1>对文本文件内的每个单词都统计出其出现的次数。 2>按照每个单词出现次数的数量，降序排序。

2017-06-29 10:54:03 423

原创 Spark核心编程：共享变量（Broadcast Variable和Accumulator）

Spark的编程核心：共享变量Broadcast Variable和Accumulator的工作原理和编程案例介绍。

2017-06-28 15:25:47 916

原创 Spark核心编程：RDD持久化详解

Spark核心编程：RDD持久化详解

2017-06-27 11:34:03 2343

原创 Spark核心编程：操作RDD（transformation和action案例实战）

Spark核心编程：操作RDD（transformation和action案例实战）

2017-06-26 20:39:52 1079

原创 Spark核心编程：创建RDD（集合、本地文件、HDFS文件）

Spark核心编程：创建RDD（集合、本地文件、HDFS文件）

2017-06-25 11:23:25 3447

原创 Spark核心编程：Spark架构原理

Spark架构原理图形详解

2017-06-22 10:47:23 790

原创 Spark核心编程：使用Java和Scala开发wordcount程序

基于spark，使用Java和Scala开发wordCount程序，并深度剖析wordCount程序的原理。

2017-06-21 22:53:51 825

原创 spark的基本工作原理和RDD

spark的基本工作原理和RDD

2017-06-16 09:42:09 1252

原创 office图标显示异常和新建时图标没有显示等问题解决

office图标显示异常和新建时图标没有显示等问题解决

2017-06-08 16:40:12 28645 3

原创 Scala-基础语法

Scala-基础语法

2017-06-04 20:08:06 371

原创 Scala-安装

详细介绍Scala在windows和Ubuntu中的安装！

2017-06-04 15:20:48 623

原创 spark 简介

Spark + Hadoop 未来的Double Win ！

2017-06-02 16:00:16 601

原创 scrapy框架图片下载注意点

在setting中的设置：ITEM_PIPELINES = { 'beautyImg.pipelines.BeautyimgPipeline': 500, 'scrapy.pipelines.images.ImagesPipeline':1}IMAGES_URLS_FIELD = 'IMG_URL'IMAGES_STORE = r'.' #下载图片存放目录。r".

2016-10-13 10:59:43 590

原创 ssh无密登入机制

ssh无密登入机制1.密钥原理2.hadoop的伪分布集群中的ssh无密登入

2016-08-17 10:16:53 558

江南水景