Ceph简单介绍
Ceph是Sage Weil 在 UCSC开发的大规模的、
可扩 的展 、开源的分布式存储系统 源的分布式存储系统
Ceph client included in Linux kernel since client included in Linux kernel since
2.6.34
Supported by Openstack since Folsom
Maintained by Inktank inc
google大数据的三驾马车
Google File System
MapReduce model
Bigtable data storage platform
Linux驱动面试题总结
各大公司30道Linux驱动面试题的总结,值得一过。Mark。搜集于网络
Continuous Processing in Structured Streaming Design Sketch
Structured Streaming was the 2nd (and the latest) major streaming effort in Spark. Its design
decouples the frontend (user-facing APIs) and backend (execution), and allows us to change
the execution model without any user API change.
Spark自己的分布式存储系统BlockManager全解析
BlockManager 是 spark 中至关重要的一个组件,在spark的运行过程中到处都有 BlockManager 的身影,只有搞清楚 BlockManager 的原理和机制,你才能更加深入的理解 spark。
PCIe数据链路层协议(Data Link Layer Specifications)
数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,数据链路层 作为处理和物的中间,TLPTLPTLP在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 在链路中传递提供可靠机制。数据层主要负责 TLPTLPTLP的可靠 传输。所以数据链路层完成的主要任务是: 传输。所以数据链路层完成的主要任务是: 1、数据交换。接收 、数据交换。接收 发送方处理层的 发送方处理层的 发送方处理层的 发送方处理层的 TLPTLPTLP包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 包,并送到物理层。另外从接收 TLPTLPTLP包并送到接收端的处理层。 包并送到接收端的处理层。 包并送到接收端的处理层。 包并送到接收端的处理层。 2、出错检测和裁决。 、出错检测和裁决。 、出错检测和裁决。 LCRCLCRC 和序列 号( TLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence Number TLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence Number TLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence NumberTLP Sequence Number )的 生成;存储发送端)的 生成;存储发送端)的 生成;存储发送端)的 生成;存储发送端)的 生成;存储发送端)的 生成;存储发送端TLPTLPTLP用于再 用于再 试重发;为 试重发;为 试重发;为 TLPTLPTLP和 DLLPDLLPDLLPDLLP做数据完成性检测( 做数据完成性检测( 做数据完成性检测( 做数据完成性检测( 做数据完成性检测( crc 校验); 校验); 校验); DLLPDLLPDLLPDLLP的 ack ack和 nacknacknack 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 响应;错误指示链接确认 超时重试机制。 超时重试机制。 超时重试机制。 超时重试机制。 3、初 始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位始化和电源管理。跟踪链 路状态并传送活动、复位路失去连等状态给处理层; 4、生成 、生成 DLLPDLLPDLLPDLLP。用于链路管理功 能包括 能包括 TLPTLPTLP确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( 确认、电源管理流程控制信息( VC 通道初始化) 通道初始化) 通道初始化) 通道初始化) 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 交流。在链接两端的数据路层点对传输 .
PCIE处理层协议(Transaction Layer Specifications)
处理层协议( transaction Layer specification transaction Layer specificationtransaction Layer specificationtransaction Layer specification transaction Layer specificationtransaction Layer specification transaction Layer specificationtransaction Layer specificationtransaction Layer specification transaction Layer specificationtransaction Layer specificationtransaction Layer specificationtransaction Layer specificationtransaction Layer specification transaction Layer specificationtransaction Layer specificationtransaction Layer specification transaction Layer specificationtransaction Layer specificationtransaction Layer specification transaction Layer specification)
◆TLPTLPTLP概况。
◆寻址 定位和路由导向 定位和路由导向 定位和路由导向 定位和路由导向 。
◆i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request i/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message requesti/o,memory,configuration,message request、completion completioncompletioncompletioncompletioncompletioncompletioncompletioncompletion详解。 详解。
◆请求和 ◆请求和 响应 处理机制。 处理机制。 处理机制。
◆virtual channel(vc)Mechanism虚拟通道机制。
◆data integrity数据完整性。
PCI-Express总线简介
pciepciepciepcie的主要特征: 的主要特征: 的主要特征:
● 可以传送 可以传送 多种数据 多种数据 信息 格式 。
● 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 串行发送接收双通道,高带宽速度快。 可灵活扩展。 可灵活扩展。 可灵活扩展。
● 支持热插拔和交换。 支持热插拔和交换。 支持热插拔和交换。 支持热插拔和交换。 支持热插拔和交换。
● 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。 低电源消耗,并有管理功能。
● 支持 QoS 链路配置和公正策略。 链路配置和公正策略。 链路配置和公正策略。 链路配置和公正策略。 链路配置和公正策略。
● 具有包和层协议架构。 具有包和层协议架构。 具有包和层协议架构。 具有包和层协议架构。 具有包和层协议架构。
● 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。 每个物理链接含有多种虚拟通道。
● 兼容 pcipcipci。
● 多种保证数据完整性的机制。 多种保证数据完整性的机制。 多种保证数据完整性的机制。 多种保证数据完整性的机制。 多种保证数据完整性的机制。 多种保证数据完整性的机制。 多种保证数据完整性的机制。
● 错误处理机制和调试简便性。 错误处理机制和调试简便性。 错误处理机制和调试简便性。 错误处理机制和调试简便性。 错误处理机制和调试简便性。 错误处理机制和调试简便性。
Nand flash基本原理
nandflash的外围引脚很少,没有地址线,只有数据线,相对于由数据线和地址线的norflash,大大的减少了引脚数目,使得芯片的体积更小,硬件设计也更简单。现在的数据线是复用的,也就是说既可以传数据,也可以传地址,也可以传命令,那么是怎么做到的呢?