hadoop
文章平均质量分 75
程序喵猴
脑袋已经排水的程序猿
展开
-
hadoop02_HDFS的API操作
根据HDFS的URI和配置,创建FileSystem实例根据路径创建HDFS文件夹根据具体的路径创建文件,并且知名是否以重写的方式根据路径删除文件根据路径,返回该路径下所有文件夹或文件的状态。将本地路径下的文件,挪动到HDFS的指定路径下打开指定路径下的文件内容。原创 2023-12-22 08:02:49 · 924 阅读 · 0 评论 -
hadoop01_完全分布式搭建
(计算的数据存在Linux本地,在一台服务器上 自己测试)、(和集群接轨 HDFS yarn,在一台服务器上执行)、。:(hadoop默认安装后启动就是本地模式,就是将来的数据存在Linux本地,并且运行MR程序的时候也是在本地机器上运行):伪分布式其实就只在一台机器上启动HDFS集群,启动YARN集群,并且数据存在HDFS集群上,以及运行MR程序也是在YARN上运行,计算后的结果也是输出到HDFS上。本质上就是利用一台服务器中多个java进程去模拟多个服务。原创 2023-12-19 08:55:18 · 1961 阅读 · 0 评论