自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 资源 (17)
  • 收藏
  • 关注

原创 浅析 Spark (V2.x ) on YARN

1.   --deploy-mode: yarn-client 和 --deploy-mode: yarn-cluster 都是--master yarn 模式配置下的,不同deploy而已。它们的deploy区别如下:yarn-client:yarn-cluster:2. 只需要启动的进程:start-dfs.sh, start-yarn.sh 和  start-history-server.s...

2018-06-25 17:57:09 146

原创 开始着手趟Spark的代码(kick off)

Computer Language Benchmarks Game:Speed test java/scala 1.71/2.25Memory test java/scala 66.55/80.81So, this benchmarks say that java is 24% faster and scala uses 21% more memory.All-in-all it's no big...

2018-06-15 14:03:15 265

原创 浅析HiBench之SparkBench(单节点)配置

一 前言:1. 语术:Hadoop 版本: Version 2.7.1HiBench 版本:Version 6.0Spark 版本:Version 2.1.02. 本篇讲个啥子?以pagerank为例子,讲述哪些参数跟performance相关,后续可以深入去看相关的代码。同样的硬件配置和Hadoop软件配置,hadoop VS spark 的 pagerank 测试结果如下:...

2018-06-11 09:53:02 2417

原创 描述Map/Reduce框架的清明上河图

描述Map/Reduce框架的清明上河图,我见过的最详细的,没有之一。基于hadoop-r2.7.1-src源代码看过了,很详细。它涵盖了Map/Reduce框架的核心流程(包含了shuffle),涉及到了Map和Reduce阶段的内存优化原理。图片来源:Distributed Systems Architecture, https://0x0fff.com/hadoop-mapred...

2018-06-08 17:00:06 1824

原创 浅析MapReduce之PriorityQueue

前言:PriorityQueue.java 在Merger.java 里的主要作用是建立一个小顶堆(调用PriorityQueue.put函数,其实就是upHeap(),它是PriorityQueue的核心函数之一),建成小顶堆后。用户可以调用PriorityQueue.pop 函数取顶(也就是最小值,, 取顶后直接调用downHeap(),它是PriorityQueue的另一个核心函数)。下面按...

2018-06-08 14:38:26 240

MCUXpresso IDE 使用备忘录.docx

MCUXpresso IDE LPCXpresso54018 开发使用

2021-10-14

EWARM_DevelopmentGuide.ENU.pdf

IAR ARM development guide english version

2021-03-18

windows 下运行的免安装版 gdb

可在 windows 下运行的 gdb

2021-03-05

micron_9200_Ceph_reference_architecture.pdf

Reference Architecture: Micron® 9200 MAX NVMe™ SSDs + Ceph® Luminous 12.2.8 + BlueStore

2019-07-25

C:\Users\yjiang2\Downloads\Ceph分布式文件系统\Supermicro’s Total Solution for Ceph .pdf

Supermicro’s Total Solution for Ceph(HW server), including types of server IOPS, throughput and capacity.

2019-07-25

C:\Users\yjiang2\Downloads\Ceph分布式文件系统\Ceph中国社区\Ceph-User-Survey-2018-Slides.pdf

2018年Ceph 用户调查报告,包括有哪些地域用户,哪些组织在用,主要使用多大的集群,Ceph主要跑在哪些硬件上等

2019-07-08

Ceph简单介绍

Ceph是Sage Weil 在 UCSC开发的大规模的、 可扩 的展 、开源的分布式存储系统 源的分布式存储系统 Ceph client included in Linux kernel since client included in Linux kernel since 2.6.34 Supported by Openstack since Folsom Maintained by Inktank inc

2019-04-23

google大数据的三驾马车

Google File System MapReduce model Bigtable data storage platform

2019-04-16

Linux驱动面试题总结

各大公司30道Linux驱动面试题的总结,值得一过。Mark。搜集于网络

2019-04-04

linux 进程地址空间的创建过程-详解

32位系统的每个进程的地址空间都是0-4G,那相同的进程地址空间是怎么映射到不同的?请看这里

2019-04-04

Continuous Processing in Structured Streaming Design Sketch

Structured Streaming was the 2nd (and the latest) major streaming effort in Spark. Its design decouples the frontend (user-facing APIs) and backend (execution), and allows us to change the execution model without any user API change.

2019-03-30

Spark自己的分布式存储系统BlockManager全解析

BlockManager 是 spark 中至关重要的一个组件,在spark的运行过程中到处都有 BlockManager 的身影,只有搞清楚 BlockManager 的原理和机制,你才能更加深入的理解 spark。

2019-03-29

PCIe数据链路层协议(Data Link Layer Specifications)

数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,TLPTLPTLP在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 TLPTLPTLP的可靠 传输。所以数据链路层完成的主要任务是: 传输。所以数据链路层完成的主要任务是: 1、数据交换。接收 、数据交换。接收 发送方处理层的 发送方处理层的 发送方处理层的 发送方处理层的 TLPTLPTLP包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 TLPTLPTLP包并送到接收端的处理层。 包并送到接收端的处理层。 包并送到接收端的处理层。 包并送到接收端的处理层。 2、出错检测和裁决。 、出错检测和裁决。 、出错检测和裁决。 LCRCLCRC 和序列 号( TLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence Number TLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence Number TLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence Number )的 生成;存储发送端)的 生成;存储发送端)的 生成;存储发送端)的 生成;存储发送端)的 生成;存储发送端)的 生成;存储发送端TLPTLPTLP用于再 用于再 试重发;为 试重发;为 试重发;为 TLPTLPTLP和 DLLPDLLPDLLPDLLP做数据完成性检测( 做数据完成性检测( 做数据完成性检测( 做数据完成性检测( 做数据完成性检测( crc 校验); 校验); 校验); DLLPDLLPDLLPDLLP的 ack ack和 nacknacknack 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 超时重试机制。 超时重试机制。 超时重试机制。 超时重试机制。 3、初 始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位路失去连等状态给处理层; 4、生成 、生成 DLLPDLLPDLLPDLLP。用于链路管理功 能包括 能包括 TLPTLPTLP确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( VC 通道初始化) 通道初始化) 通道初始化) 通道初始化) 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 .

2019-03-29

PCIE处理层协议(Transaction Layer Specifications)

处理层协议( transaction Layer specification transaction Layer specificationtransaction Layer specificationtransaction Layer specification transaction Layer specificationtransaction Layer specification transaction Layer specificationtransaction Layer specificationtransaction Layer specification transaction Layer specificationtransaction Layer specificationtransaction Layer specificationtransaction Layer specificationtransaction Layer specification transaction Layer specificationtransaction Layer specificationtransaction Layer specification transaction Layer specificationtransaction Layer specificationtransaction Layer specification transaction Layer specification) ◆TLPTLPTLP概况。 ◆寻址 定位和路由导向 定位和路由导向 定位和路由导向 定位和路由导向 。 ◆i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request、completion completioncompletioncompletioncompletioncompletioncompletioncompletioncompletion详解。 详解。 ◆请求和 ◆请求和 响应 处理机制。 处理机制。 处理机制。 ◆virtual channel(vc)Mechanism虚拟通道机制。 ◆data integrity数据完整性。

2019-03-29

PCI-Express总线简介

pciepciepciepcie的主要特征: 的主要特征: 的主要特征: ● 可以传送 可以传送 多种数据 多种数据 信息 格式 。 ● 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 可灵活扩展。 可灵活扩展。 可灵活扩展。 ● 支持热插拔和交换。 支持热插拔和交换。 支持热插拔和交换。 支持热插拔和交换。 支持热插拔和交换。 ● 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 ● 支持 QoS 链路配置和公正策略。 链路配置和公正策略。 链路配置和公正策略。 链路配置和公正策略。 链路配置和公正策略。 ● 具有包和层协议架构。 具有包和层协议架构。 具有包和层协议架构。 具有包和层协议架构。 具有包和层协议架构。 ● 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 ● 兼容 pcipcipci。 ● 多种保证数据完整性的机制。 多种保证数据完整性的机制。 多种保证数据完整性的机制。 多种保证数据完整性的机制。 多种保证数据完整性的机制。 多种保证数据完整性的机制。 多种保证数据完整性的机制。 ● 错误处理机制和调试简便性。 错误处理机制和调试简便性。 错误处理机制和调试简便性。 错误处理机制和调试简便性。 错误处理机制和调试简便性。 错误处理机制和调试简便性。

2019-03-29

Nand flash基本原理

nandflash的外围引脚很少,没有地址线,只有数据线,相对于由数据线和地址线的norflash,大大的减少了引脚数目,使得芯片的体积更小,硬件设计也更简单。现在的数据线是复用的,也就是说既可以传数据,也可以传地址,也可以传命令,那么是怎么做到的呢?

2019-03-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除