hadoop
文章平均质量分 80
侵权删
JeremyHeria
life's a struggle
展开
-
Windows下hadoop单点部署
电脑安装java8以上的版本下载hadoop压缩包,演示选用hadoop-2.7.3,解压到本地路径下。原创 2022-08-24 20:38:26 · 889 阅读 · 2 评论 -
mapreduce工作流程(HADOOP2.x版本)
目录作业提交阶段(Job Submission)作业初始化阶段(Job Initialization)任务分配(Task Assignment)任务执行(Task Execution)作业提交阶段(Job Submission)现有一个200m的名为“1.txt”的文本文档,我们希望利用mapreduce对其进行分析。1.在编写好mapreduce程序后,新建job实例,设置job状态,并创建一个Job Client实例。2.Job Client同YARN( Hadoop 资源管理器)通过conn原创 2022-03-11 15:00:31 · 3305 阅读 · 1 评论 -
hadoop大数据平台的构建
目录hadoop概述什么是hadoop?hadoop特点hadoop组成hadoop概述什么是hadoop?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。原创 2021-12-19 22:15:14 · 2620 阅读 · 0 评论 -
mapreduce概念和案例(尚硅谷学习笔记)
MapReduce概念概述Mapreduce优点和缺点MapReduceMapReduce核心思想案例分析原创 2021-12-09 12:03:03 · 2155 阅读 · 0 评论 -
0-hdfs常用指令
HDFS的Shell操作(开发重点)基本语法bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令dfs是fs的实现类。常用命令实操启动Hadoop集群(方便后续的测试)sbin/start-dfs.shsbin/start-yarn.sh-help:输出这个命令参数hadoop fs -help rm-ls: 显示目录信息hadoop fs -ls /-mkdir:在HDFS上创建目录hadoop fs -mkdir -p /sanguo/shu原创 2021-05-24 14:33:00 · 154 阅读 · 0 评论 -
scp与rsync
编写集群分发脚本xsyncscp(secure copy)安全拷贝(1)scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)(2)基本语法scp -r pdir/pdir/pdir/fname user@hadoopuser@hadoopuser@hadoophost:pdir/pdir/pdir/fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称(3)案例实操(a)在hado原创 2021-05-17 09:54:48 · 1692 阅读 · 0 评论