hadoop
文章平均质量分 89
龍尐
这个作者很懒,什么都没留下…
展开
-
HDFS相关知识
1)hdfs原理,以及各个模块的职责Client:切分文件;访问或通过命令行管理HDFS;与NameNode交互,获取文件位置信息;与DataNode交互,读取和写入数据。NameNode:Master节点,只有一个,管理HDFS的名称空间和数据块映射信息;配置副本策略;处理客户端请求。DataNode:Slave节点,存储实际的数据;执行数据块的读写;汇报原创 2018-01-25 15:33:00 · 644 阅读 · 1 评论 -
调用JAVA API 对 HDFS 进行文件的读取、写入、上传、下载、删除等操作
Hadoop文件系统 基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。 Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类,通过以下两种静态工厂方法可以过去FileSystem实例: public static FileSystem.get(Configuration co...转载 2018-02-08 16:49:26 · 1117 阅读 · 0 评论 -
Hadoop+Hive常用知识总结
1、什么是Hadoop?什么是hive?Hadoop:一个分布式系统基础架构,由Apache基金会开发,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力告诉运算和存储。Hadoop是项目的总称,主要是由分布式存储(HDFS)、分布式运算(MapReduce)组成。HIVE是一个SQL解析引擎,它将SQL语句转译成M/RJOB 然后再Hadoop执行,与传统数据库完全不同,...原创 2018-02-23 12:00:39 · 328 阅读 · 0 评论 -
Hadoop学习之HDFS的相关操作
以下是使用Hadoop2.4.1的JAVA API进行HDFS的相关操作import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.io.InputStream;...转载 2018-08-27 09:58:10 · 201 阅读 · 0 评论 -
java 正则匹配 HDFS路径后获取目录下文件
public static void main(String[] args) { URI uri = URI.create("hdfs://cdh-master:8020"); FileSystem hdfs = null; Path path = new Path("/hiaAnalyticsService"); try { ...原创 2018-08-24 17:59:33 · 2076 阅读 · 0 评论