- 博客(5)
- 收藏
- 关注
RSS订阅原创 理解零拷贝
• 从WIKI的定义中，我们看到“零拷贝”是指计算机操作的过程中，CPU不需要为 数据在内存之间的拷贝消耗资源。而它通常是指计算机在网络上发送文件时，不需 要将文件内容拷贝到用户空间（User Space）而直接在内核空间（Kernel Space ）中传输到网络的方式。 零拷贝模式： ...
2019-04-26 15:24:08
270
原创 Linux上HIVE搭建
hive官网：hive.apache.org 1.在官网上下载安装包如图： 然后上传到Linux一个目录下（用第三方软件） #上传/software/下，解压 tar -zxvf ./apache-hive-3.0.0-bin.tar.gz -C /software/ rm -rf ./apache-hive-3.0.0-bin.tar.gz #创建Hive软连接 ln -sf ./apache...
2019-04-24 23:02:19
493
原创 HDFS读流程、写流程
HDFS写流程 1.客户端（client）会先和NameNode联系，在NameNode虚拟目录下创建文件（没有创建有的话就不能上传了这个过程是在Path路径进行检查的）。这个过程是可以看见的显示copying这时文件是不能读取的，NameNode会根据副本放置策略分发副本（第一个在本机架另外两个在其他机架）NameNode会把这三个节点的位置返回给客户端。如果客户端在集群外namenode会根据...
2019-04-19 18:00:01
216
原创 HDFS
通用组件 - Hadoop Common 包含了其他hadoop模块要用到的库文件和工具 分布式文件系统 - Hadoop Distributed File System (HDFS) 运行于通用硬件上的分布式文件系统，高吞吐，高可靠 资源管理组件 - Hadoop YARN 于2012年引入的组件，用于管理集群中的计算资源并在这些资源上调度用户应用。 分布式计算框架 - Hadoop MapRe...
2019-04-14 10:37:39
290
原创 浅谈快速排序算法
浅谈快速排序算法 概念 快速排序算法是对冒泡排序的一种改进，是快速的将一组数据分成两部分，其中一部分比另一部分的最小数还小，然后再按照此方法分别对这两部分数据再进行排序可以以递归的形式。 基本思想 一组数据通常以第一个数据为比对比它小的数放在左边比它大的数放在右边这样左边的的数就都比右边的所有数小然后在按照这样的比较方法分别对左边的数组和右边的数组进行比较这样这组数据就会从小到大的排列起来。 缺点...
2019-04-11 16:38:44
258
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人