--- Hadoop
文章平均质量分 84
详细分享Hadoop知识
数据指北Ai
知名国企开发工程师,目前大数据和后端开发,致力全栈。欢迎交流!!!
展开
-
大数据Hadoop(五)HDFS的原理之核心设计(1)
HDFS的原理核心设计原创 2021-09-06 00:00:07 · 915 阅读 · 0 评论 -
大数据Hadoop(四)HDFS的Java API操作(2)
大家好,我是脚丫先生 (o^^o) 紧接着前文说到HDFS的API操作,我们今天针对HDFS的API操作进行详细解说。 好了,我们开始今天的正文。 文章目录一、HDFS 的 Java API 操作二、搭建开发环境三、FileSystem实例获取讲解四、 HDFS常用Java API代码 一、HDFS 的 Java API 操作 HDFS 在生产应用中主要是客户端的开发,其核心步骤是从 HDFS 提供的 API 中构造一个 HDFS 的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS 上的文件原创 2021-09-05 21:45:57 · 479 阅读 · 0 评论 -
大数据Hadoop(三)HDFS的Java API操作(1)
大家好,我是脚丫先生 (o^^o) 前面介绍了HDFS的基本概念,那么接下来就对HDFS分布式文件系统进行实践。 好了,我们开始今天的正文。 文章目录一、HDFS的shell(命令行客户端)操作二、HDFS的java api操作 一、HDFS的shell(命令行客户端)操作 1.基本语法 bin/hadoop fs 具体命令 或者 bin/hdfs dfs 具体命令 2.命令大全 $ bin/hadoop fs [-appendToFile <localsrc> ... &l原创 2021-09-01 00:07:16 · 620 阅读 · 2 评论 -
大数据Hadoop(二)HDFS基础入门
大家好,我是脚丫先生 (o^^o) 今天废话不多说,我们开始今天的正文。 文章目录一、HDFS的介绍1.1 HDFS分布式文件系统1.2 HDFS设计思路1.3 HDFS架构1.4 特性二 HDFS优缺点2.1 优点2.2 缺点三、HDFS不适合存储小文件 一、HDFS的介绍 1.1 HDFS分布式文件系统 随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操 作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分原创 2021-08-31 17:32:20 · 386 阅读 · 0 评论 -
大数据Hadoop(一)Hadoop整体介绍
大家好,我是脚丫先生 (o^^o) 在大数据和后端开发的路上不知不觉已经走了两年了,想持续认真输出博客,虽然没有其他博主那么深厚的功力,但是也想把自己之前学习的大数据知识,通过博客的方式进行叙述,同时也是一种对大数据基础知识的复习,正所谓万丈高楼平地起,在今后,不管转项目经理或者架构师,都需要扎实的相关技术,才能收服少年们。 好了,我们开始今天的正文。 文章目录零、三大重要海量数据面试题:一、Hadoop的快速入门1.1、数据1.2、大数据1.3、大数据的特点1.4、大数据核心技术二、Hadoop产生原创 2021-08-29 17:30:36 · 1462 阅读 · 2 评论