hadoop开发日志
BbiHH_
某高校在读菜鸡一枚,人工智能方面打杂,acm方面摸鱼,静静看着各位大佬输出。
展开
-
大数据框架略解:Hadoop、Yarn、Spark、Hbase
一、大数据框架二、hadoop核心组件Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。(1)HDFS集群:负责海量数据的存储。(2)YARN集群:负责海量数据运算时的资源调度。(3)MapReduce:在分布式计算框架上的可自定义设计框架,使用只需要定义其功能,而不用取考虑分布式并行计算的细节。(1)HDFS集群HDFS简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序的数据访问功能,适合大型数据集的应用程序。它提供了一次写入多转载 2020-10-31 11:30:48 · 889 阅读 · 0 评论 -
开始MapReduce!
这是一波预告吧,进行了基本的hdfs的了解后,就要开始认识分布式处理的核心MapReduce了。关于MapReduce的理论上知识可以通过 《深入理解hadoop2》 去了解,这里针对MapReduce编程进行实操记录。原创 2020-10-30 18:58:29 · 102 阅读 · 0 评论 -
hadoop下载与配置 - Ubuntu18.04
这里废话不多说,由于hadoop对于新手第一次接触还是会遇到很多坑点的,所以在这里记录一下hadoop使用过程中的各种问题,记录交流。hadoop的下载hadoop项目开源,直接从apache官网下载:http://hadoop.apache.org/点击下载能够看到其提供的版本,要区分2.x版本与3.x版本。博主使用的是2.10.1的版本,但新手不建议使用,很多教程里推荐的更多是2.7.x的版本,官网也有保存着历史版本文件:历史版本下载注意下载二进制版本binary,source是源码版本原创 2020-10-20 22:14:39 · 542 阅读 · 0 评论 -
hadoop编程-java实现HDFS的读、写、创建--IDEA
在使用javaAPI进行hdfs的操作时,需要导入响应的jar包,这里使用maven统一管理,给出xml配置文件:这里给出自己联系hdfs读写的代码:package MyTest;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.Text;import java.io.IOException;import java.io.PrintS原创 2020-10-21 20:38:06 · 1151 阅读 · 0 评论 -
hadoop中命令的使用--hdfs shell的基本使用
1、cat命令:hadoop fs -cat URI [URI …]获取文件内容/目录信息其中 URI 格式为scheme://authority/pathPath为文件地址 scheme表示从哪读取:hdfs表示分布文件,file表示从本地默认从hdfs里面读取,(可以修改配置)2、chgrp命令:hadoop fs -chgrp [-R] GROUP URI [URI …]改变文件/目录所属用户组URI为文件/目录的path -R则为递归地添加3、chmod命令: hadoop fs原创 2020-10-20 22:29:58 · 463 阅读 · 0 评论