![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
谈笑间学会HDFS
文章平均质量分 90
MrZhangBaby
世界上并没有完美的程序,
但我们并不因此而沮丧,
因为写程序本来就是一个不断追求完美的过程。
你可以不够优秀,但不要甘于平凡。
展开
-
Hive3.1.2伪分布式安装
Hive是何物,自己去百度,在此不多bb,直接开整…学习一个组件,个人觉得最重要的是先学会安装再说,巧妇难为无米之炊撒…原创 2023-07-13 18:39:16 · 380 阅读 · 0 评论 -
Hadoop参数调优
Hadoop参数调优性能调优涉及4个方面:CPU利用率、内存占用情况、磁盘I/O和网络流量。有很多因素会对HadoopMapReduce性能产生影响。一般说来,与工作负载相关的Hadoop性能优化需要关注以下3个主要方面:系统硬件、系统软件,以及Hadoop基础设施组件的配置和调优/优化。需要指出的是,Hadoop被归类为高扩展性解决方案,但却不足以归类为高性能集群解决方案。系统管理员...原创 2020-03-05 18:06:11 · 1372 阅读 · 2 评论 -
谈笑间学会HDFS—HDFS的数据管理与策略选择
HDFS缓存与缓存块HDFS的缓存与我们平常所说的缓存(cache)在作用上是一致的,主要是为了减少重复的数据请求过程。但是在具体实现上,我们平常所用的缓存可能只由一个简单的缓冲数组构成,而HDFS用的是缓存块(cacheblock)的概念。HDFS的缓存块由普通的文件块转换而来,同样也可以转换回去。HDFS缓存的出现可以大大提高用户读取文件的速度,因为它是缓存在DataNode内存中的,此过...原创 2020-03-04 16:10:33 · 298 阅读 · 0 评论 -
谈笑间学会HDFS—hdfs的数据存储
1、HDFS的数据存储的意义先有了数据的存储,才有后续的写入和管理等操作。HDFS的数据存储包括两块:一块是HDFS内存存储,另一块是HDFS异构存储。HDFS内存存储是一种十分特殊的存储方式,将会对集群数据的读写带来不小的性能提升,而HDFS异构存储则能帮助我们更加合理地把数据存到应该存的地方。1-1、HDFS的内存存储HDFS的内存存储是HDFS所有数据存储方式中比较特殊的一种,与...原创 2020-02-28 12:15:54 · 1732 阅读 · 0 评论