- 博客(3)
- 收藏
- 关注
RSS订阅原创 通过javaApi从集群读取文件
import java.io.ByteArrayOutputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.f
2018-02-05 00:10:25
721
原创 通过javaApi 从本地上传文件到集群
获取本地文件工具类 import java.io.*; public class GetLocalFile { public static String getLocalFile(String filePath) throws Exception{ FileInputStream fis=new FileInputStream(filePath);
2018-02-04 23:41:51
1632
原创 hadoop核心组件与应用
HDFS解决底层的存储问题 yarn解决资源调度和任务管理。（资源调度：有了任务后，决定分配到哪些机器上执行；任务管理：任务在执行过程中，进行过程监控、状态反馈、再调度等工作） MapReduce,解决分布式计算门槛高问题，基于其框架对分布式计算抽象的map和reduce，可以轻松写分布式计算程序 hive解决数据仓库构建问题，与mysql等数据库类同，知识它是基于hadoop平台的存储
2018-02-04 22:55:59
478
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人