- 博客(5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 剖析HDFS读写：namenode和datanode节点之间运行过程
数据流：1、 剖析文件读取：FileSystem对象则是负责与namenode联系，获取到block location，再将该信息给FSDataInputStream构建对象，在这个图中还缺少了一个中间流，也就是DFSInputStream对象，这个对象是由FSDataInputStream构建的，用于直接在datanode进行数据块的读取（这里会排序拓扑最近的优先加载），FSDataInputS...
2018-04-22 18:56:46
2331
原创 hdfs上文件的读取和写入
从HDFS集群上读取数据文件：详情解析：(1)、Hadoop 文件系统中是通过Hadoop path来代表文件的，不是java.io.file，因为要准守hdfs这个协议嘛，所以当然就是path啦！例如：hdfs:\\ubuntu:9000/result.（2）、要想得到FileSystem的实例，不是new，而是使用FieSystem的几个静态工厂方法来构建。①在虚拟机上以用户身份运行：File...
2018-04-22 17:57:50
5562
原创 Hadoop分布式文件系统HDFS
Hadoop分布式文件系统HDFS2018年4月21号一、HDFS的设计主要概述：HDFS是以流式数据访问模式来存储超大文件。运行于商用硬件集群上的详细解析：（1） 超大文件：就是单个文件达到几百MB至几百TB甚至PB的文件。（2） 流式数据访问 :一次写入、多次读取时最高效的访问模式。（就像看视频（flv格式）一样，一边看一边下载），只需考虑数据的上下文，不必考虑数据的存储位置。如果...
2018-04-21 16:37:41
360
原创 直方图的最大面积问题
（1）问题描述：直方图中最大矩形面积，一个直方图是有许多矩形组成的，在给定的直方图中找出最大的矩形面积，为了简化，假定所有矩形的宽为1。（2）直方图最大面积的算法理解： 1、将一个起伏的直方图分解成一个个小的递增的直方图， 2、再计算每个递增直方图的最大面积 3、遍历完成之后会得到一个递增的栈，栈的值所对应的直方图的高也是递增的 3、那么用同样的思路计算出这个递增的直方图的...
2018-04-17 16:55:47
2214
原创 栈的逆置
题目：给定一个栈，只使用栈的操作（pop和push），实现栈的逆置。算法：1、利用递归函数reserveStack()，pop栈顶元素，直至栈空。2、每次递归向上一步骤时，利用insertStaBot递归函数，将上一步中出栈的元素插入栈底。import java.util.Arrays;public class ArrayStack { private int top; pri...
2018-04-16 16:16:57
2062
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人