Hadoop学习
文章平均质量分 58
InceptionZ
这个作者很懒,什么都没留下…
展开
-
【Hadoop】掌握YARN的部分知识
掌握YARN是什么,组成是什么即可。原创 2022-10-23 17:52:29 · 370 阅读 · 1 评论 -
【Hadoop】掌握HDFS的部分知识
知道HDFS是什么,掌握其基本原理即可,不需要深挖源代码(个人而言)。当然对于大数据工程师来说还是要的!原创 2022-10-23 17:24:03 · 380 阅读 · 0 评论 -
【Hadoop】回答Hadoop是什么
回答Hadoop是什么,发展历史,它的优势,和它的基本组成。对于算法工程师而言,并不需要弄清楚源代码部分,最重要的是知道是什么,怎么用很重要,因为我们的侧重点还是在算法上面。原创 2022-10-23 16:54:00 · 625 阅读 · 0 评论 -
【spark】Spark与Hadoop之间的联系与区别
在学习hadoop的时候查询一些资料的时候经常会看到有比较hadoop和spark的,对于初学者来说难免会有点搞不清楚这二者到底有什么大的区别。就这个问题查阅了一些资料,观点分享给大家:1. 目的首先需要明确一点,hadoop和spark 这二者都是大数据框架,即便如此二者各自存在的目的是不同的。Hadoop是一个分布式的数据基础设施,它是将庞大的数据集分派到由若干台计算机组成的集群中的多个节点进行存储。Spark是一个专门用来对那些分布式存储的大数据进行处理的工具,Spark本身并不会进行分布.原创 2021-06-16 10:34:44 · 507 阅读 · 0 评论 -
hadoop命令大全(完整)
hdfs常用命令:文章目录1. hdfs文件系统命令1.1 文件路径增删改查系列:1.2 空间大小查看系列命令:1.3 权限管理类:1.4 文件操作(上传下载复制)系列:1.5 判断系列:1.6 系统功能管理类:2. 运维命令3. mapreduce命令4. hdfs系统检查工具fsck5. 运行pipies作业1. hdfs文件系统命令1.1 文件路径增删改查系列:hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls原创 2021-05-11 15:34:42 · 26244 阅读 · 0 评论