hadoop
文章平均质量分 64
gegeyanxin
这个作者很懒,什么都没留下…
展开
-
详细讲解零拷贝机制的进化过程
其中2次数据拷贝都是DMA拷贝,这就是真正的零拷贝技术,全程都没有通过CPU来搬运数据,所有的数据都是通过DMA来传输的。sendfile实现的零拷贝,IO发生了两次用户空间与内核空间的上下文切换,以及3次数据拷贝,其中3次数据拷贝中,包括了2次DMA拷贝和1次CPU拷贝。有的,即带有DMA手机拷贝功能的sendfile。(mmap是将读缓冲区的地址和用户缓冲区的地址进行映射,内核缓冲区和应用缓冲区共享,所以节省了一次CPU拷贝,并且用户京城内存是虚拟的在,只是映射到内核读缓冲区,可以节省一半的内存空间。原创 2023-03-08 19:46:32 · 532 阅读 · 0 评论 -
Flink编程套路
1.创建运行环境flink提供了两种创建环境的方式:DataStream(数据流) 和 DataSet(数据集)//DataStream 数据流StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//DataSet 数据集ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();2转载 2021-12-27 19:49:31 · 124 阅读 · 0 评论 -
hadoop不同集群之间文件拷贝
hadoop不同集群之间文件拷贝 DistCp用法原创 2021-11-19 15:40:26 · 2087 阅读 · 0 评论 -
hdfs nameNode的租约管理
namenode对于文件的操作是一次写,多次读。对于写操作需要保持互斥性,就需要用租约来管理。租约是HDFS中一个很重要的概念,是namenod给与租约持有者(leaseHolder,一般是客户端)在规定时间内拥有文件写权限的合同。租约管理器leaseManager保存了HDFS文件与租约、租约与租约持有者的对应关系,租约管理中期还会定期检查它维护的所有租约是否过期。租约管理器会前置收回过期的租约,所以租约持有者会定期检查它所维护的所有租约是否过期,维护对该文件的独占锁定。当客户端完成了对文...原创 2021-11-07 23:47:14 · 316 阅读 · 0 评论 -
CDH与原生态hadoop之间的区别(转)
需要认识的几个问题---------------------------------------------------------------------------------------------------------------------------1.hadoop有几个版本?2.CDH有几种安装方式?3.CDH在安装认证方面做了什么改变?---------------...转载 2018-09-10 09:23:20 · 2072 阅读 · 0 评论