![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
糯米君_
算法工程师
展开
-
HDFS入门-统计HDFS上文件的词频,然后将统计结果输出到HDFS
需求:统计HDFS上的文件的词频,然后将统计结果输出到HDFS特点:用到了maven管理jar包;核心处理部分封装为接口(可插拔);路径、文件名等变量配置在自定义配置文件中,方便改写;通过反射创建对象(接口);代码结构良好,可插拔等等原创 2023-06-02 23:11:27 · 389 阅读 · 0 评论 -
常用hdfs shell命令操作
hdfs shell常用命令原创 2022-01-10 00:12:31 · 1008 阅读 · 0 评论 -
HDFS API编程:常用HDFS操作实现
使用常见API实现对hdfs文件系统的一系列基础操作即‘增删改查’:创建HDFS文件夹输出副本系数创建文件查看HDFS文件内容文件名更改拷贝本地文件到HDFS文件系统拷贝本地大文件到HDFS文件系统,带进度条下载HDFS文件到本地查看文件夹下所有文件递归查看文件夹下所有文件查看文件块信息删除文件package com.haglife.bigdata.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import o原创 2022-01-10 00:05:19 · 1148 阅读 · 0 评论 -
HDFS API编程:jUnit封装
对《HDFS API编程:第一个应用程序的开发》代码进行改造原创 2022-01-09 23:50:13 · 128 阅读 · 0 评论 -
HDFS API编程:第一个应用程序的开发:创建一个目录
第一个应用程序的开发:创建一个hdfs目录原创 2022-01-09 23:45:45 · 1451 阅读 · 0 评论