hadoop
文章平均质量分 78
火眼猊
剑气纵横三万里,一剑光寒十九洲
展开
-
Hadoop入门
数据是指对可观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合,它是可以识别的、抽象的符号。他不仅指狭义上的数字,还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等,也是客观事物的属性、数量、位置及相互关系的抽象表示。对客观事物的计量和记录产生数据把隐藏在数据背后的信息集中和提炼出来,总结出所研究对象的内在规律,帮助管理者进行有效的判断和决策。离线分析(batch processing)原创 2023-03-10 19:42:24 · 595 阅读 · 1 评论 -
Hadoop YARN
可以把Hadoop YARN理解为相当于一个分布式的操作系统平台,而MapReduce等计算程序则相当于运行于操作系统之上的应用程序,YARN为这些程序提供运算所需的资源(内存、CPU等)。Hadoop能有今天这个地位,YARN可以说是功不可没。因为有了YARN,更多计算框架可以接入到HDFS中,而不单单是MapReduce,正是因为YARN的包容,使得其他计算框架能专注于计算性能的提升。HDFS可能不是最优秀的大数据存储系统,但却是应用最广泛的大数据存储系统,YARN功不可没。...原创 2022-08-14 12:37:40 · 211 阅读 · 0 评论 -
MapReduce
分布式计算是一种计算方法和集中式计算是相对的随着计算技术的发展,有些应用需要非常巨大的计算能力才能完成,如果采用集中式计算,需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分,分配给多台计算机进行处理。这样可以节约整体计算时间,大大提高计算效率。Hadoop MapReduce是一个分布式计算框架,用于青松编写分布式应用程序,这些应用程序以可靠,容错的方式并行处理大型硬件集群(数千个节点)上的大量数据(多TB数据集)。...原创 2022-08-13 11:37:01 · 788 阅读 · 0 评论 -
HDFS工作流程与机制
HDSF工作流程与机制原创 2022-08-03 11:41:56 · 583 阅读 · 0 评论 -
HDFS shell
f覆盖目标文件下(已存在下)原创 2022-07-30 11:04:31 · 390 阅读 · 0 评论 -
HDFS分布式文件系统基础
HDFS(HadoopDistributedFileSystem),意为Hadoop分布式文件系统是ApacheHadoop核心组件之一,作为大数据生态圈最底层的分布式存储服务而存在。也可以说大数据首要解决的问题是海量数据存储问题。HDFS主要是解决大数据如何存储问题的。分布式意味着HDFS是横跨多台计算机的存储系统HDFS是一种能够在普通硬件上运行的分布式文件系统,它是高度容错的,适用于具有大数据集的应用程序,它非常适用于存储大型数据(TB、PB)。主从架构分块存储。...原创 2022-07-28 11:28:31 · 288 阅读 · 0 评论 -
Hadoop简介
Hadoop概念、发展简史、现状原创 2022-07-26 14:08:48 · 1509 阅读 · 0 评论 -
vim基本操作命令
vim基本操作命令:光标移动、复制粘贴、删除撤销操作原创 2022-07-25 16:58:27 · 234 阅读 · 0 评论 -
Linux相关知识
命令属于死东西,多用多会,不用就忘tab键可以实现自动补全和提示,可以合理使用history命令可以显示历史执行记录,或者使用方向键来切换前后执行的命令。原创 2022-07-25 16:36:39 · 162 阅读 · 0 评论