大数据
文章平均质量分 76
程序员孙大圣
WeChat 17852023008
展开
-
Hadoop之MapReduce
1、什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件: HDFS:分布式存储系统 MapReduce:分布式计算系统 YARN: hadoop 的资源调度系统 Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC 框架等 Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析应用”的核心框架 Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一...原创 2021-06-09 13:03:51 · 198 阅读 · 2 评论 -
HDFS和Zookeeper的常用命令
zookeeper: 1)使用help命令可查看ZooKeeper的shell操作可用的命令,如下: [zk: localhost:2181(CONNECTED) 13] help ZooKeeper -server host:port cmd args stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl path acl setq.原创 2020-07-27 15:48:24 · 245 阅读 · 0 评论 -
HDFS API
第一步:安装插件 找到eclipse操作hadoop的插件,eclipse-xxxx-hadoop-plugin.jar ,把它放到eclipse的安装路径的plugin文件夹中,然后重启eclipse。 第二步:配置hadoop环境变量 一、安装JDK 二、配置Java环境变量 测试: 打开命令行cmd java -version 可以得到java版本信息即可。具体不展开了。 三、下载Hadoop 1、下载路径:http://hadoop.apache.org/releases....原创 2020-05-27 09:23:59 · 275 阅读 · 0 评论