![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
聒噪鱼
Don't be a collector.
展开
-
Apache Hadoop编译
Github地址https://github.com/apache/hadoop下载源码包hadoop-2.8.1-src.tar.gz解压tar -zxvf hadoop-2.8.1-src.tar.gz安装编译所需要的工具包protobuf安装下载protobuf-2.5.0.tar.gz#tar -xzvf protobuf-2.5.0...原创 2017-12-16 22:48:09 · 254 阅读 · 0 评论 -
jps process information unavailable
jps 查看进程#jps pid 进程名称#jps -lpid 进程详细信息jps 10611 – process information unavailable 6325 jar 5720 – process information unavailable 54605 Jps 6030 – process information unavailable 5823 –...原创 2018-01-18 23:12:57 · 347 阅读 · 0 评论 -
HDFS基础之NN、SNN、DN
一、HDFS架构二、HDFS详解NameNode(NN):名称节点文件系统的命名空间 1)、文件名称 2)、文件目录结构 3)、文件的属性(权限、创建时间、副本数等) 4)、文件对应哪些数据块——》这些数据存储在哪些DataNode上 不会持久化存储这种映射关系,是通过集群的启动和运行时,DataNode定期的发送Bloc...原创 2018-01-14 18:27:02 · 1645 阅读 · 0 评论 -
Apache Hadoop部署
1、官网地址hadoop.apache.org2、三大组件HDFS:分布式文件系统,存储MapReduce:分布式计算Yarn:资源和JOB调度监控3、部署方式单机模式standalone: 1个java进程伪分布式模式Pseudo-Distributed: 多个java进程集群模式Cluster: 多台机器多个java进程4、部...原创 2017-12-30 11:46:43 · 295 阅读 · 0 评论 -
Hadoop学习总结(一)
1.SNN checkpoint 多久?什么参数配置?参数在哪?3600s参数:dfs.namenode.checkpoint.period: 3600 秒 hdfs-default.xml2.ZooKeeper是做什么的?统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理、Leader 选举、队列管理等3.ZooKeeper的作用?Zookeeper...原创 2018-03-12 09:39:21 · 7118 阅读 · 0 评论 -
HDFS之文件读、写流程
我们通过命令bin/hdfs dfs -cat /xxx.log查看一个文件的时候,对于NN、DN之间的操作我们是无感知的,具体中间都发生了什么,下面来简单描述一下。读操作 操作步骤: 1、Client通过FileSystem.open(filePath)方法,去与NameNode进行RPC通信,返回该文件的部分或全部的block列表(也包含该列表各block分布在DataNode...原创 2018-04-23 17:34:11 · 366 阅读 · 0 评论 -
MapReduce实现WordCount
通过WordCount案例来更好地理解MapReduce的map、reduce实现过程。1、构建maven项目2、添加maven依赖这里使用的hadoop版本是hadoop-2.6.0-cdh5.7.0<modelVersion>4.0.0</modelVersion><groupId>com.xxx</groupId&a原创 2018-05-10 23:06:20 · 827 阅读 · 0 评论