![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 74
yoyocheknow
菜鸟一枚
展开
-
初识Hadoop
What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.官网描述:hadoop是一个可靠的,可以扩展的分布式开源框架。 The Apache Hadoop software lib...原创 2018-07-30 18:15:22 · 206 阅读 · 0 评论 -
Hadoop 之 YARN
Yarn 是一个资源管理,作业调度的框架。 Yarn产生背景: Hadoop1.x时,MapReduce是Master/Slave架构。一个JobTracker带多个TaskTracker. JobTracker负责资源管理和作业调度。TaskTracker,定期向JobTracker汇报本节点的健康状况,资源使用情况,作业执行情况,接受JobTracker的命令。JobTracke...原创 2018-08-02 16:13:50 · 250 阅读 · 0 评论 -
Hadoop之HDFS JavaAPI使用方法
上一篇我们讲到了用shell命令操作HDFS,现在用Java API操作HDFS。 开发工具:Idea+Maven 首先在Idea上创建一个Maven项目:hadooptrain. POM文件如下所示:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.ap原创 2018-08-02 11:23:20 · 828 阅读 · 0 评论 -
Hive了解一下
本文分为5部分:Hive产生背景&Hive是什么?为什么使用Hive&Hive发展历程Hive体系架构及部署架构Hive环境搭建Hive基本使用1. Hive产生背景&Hive是什么?MapReduce编程的不便性: 前面的博文我们介绍了Map Reduce的使用。我们首先要申明一个Map和一个Reduce才能处理作业。代码量大,复杂。而且需要...原创 2018-08-10 18:31:21 · 650 阅读 · 0 评论 -
Hadoop之 集成Spring的使用
spring有专门支持Hadoop的使用。我们看一下官网的介绍:https://spring.io/projects/spring-hadoop Spring for Apache Hadoop simplifies developing Apache Hadoop by providing a unified configuration model and easy to use API...原创 2018-08-09 20:12:41 · 6590 阅读 · 0 评论 -
Hadoop 无法启动NameNode节点。报错: Cannot assign requested address
主要参考了此博文https://blog.csdn.net/zhaobudaofangxia/article/details/69333758的解决方法。学习hadoop的时候。刚开始nameNode还能启动成功,但是后来不知道为什么突然又无法启动了。通过hadoop/logs的输入日志发现是如下错误:java.net.BindException: Problem binding to...原创 2018-08-05 17:08:41 · 1359 阅读 · 1 评论 -
Hadoop 之Mapreduce wordcount词频统计案例
首先我们来看一张描述MapReduce运行过程的图。首先input就是输入文件。 spliting:把文件按行经行拆分。 Mapping:把每行的word进行计数。 Shuffing:混洗。将相同的word分发到相同的节点。 Reduceing:对每个节点的word进行统计。以上就是简单的Mapreduce作业过程。下面看下官网的介绍: A MapReduce job ...原创 2018-08-05 16:56:45 · 7952 阅读 · 1 评论 -
Hadoop之HDFS Shell常用命令
HDFS文件系统提供了Shell接口来操作文件,下面我们来写一下常用的shell命令。lsgetmkdirrmput 可以看出基本和Linux命令一样。 ls查看命令的使用:hadoop fs -ls / 可以看到 hdfs里面没有任何东西,现在put进去一个文件。hadoop fs -put hello.txt /然后再查看一下: 成功。 创建一个...原创 2018-07-31 19:27:50 · 677 阅读 · 0 评论 -
Hadoop之HDFS
HDFS简介: HDFS是设计运行在廉价机器上的分布式文件系统。 HDFS设计目标:支持硬件故障。硬件故障是常态。一个HDFS实例可能是由成百上千个服务器组成。每一个服务器都存储了文件系统的部分数据,因为有大量的服务器节点,而且每个节点都有一定发生故障的概率,这也就意味着有些节点自始至终都没有起作用。所以节点故障的快速发现和快速修复就是HDFS的设计目标。流式数据访问。运行在HDFS上...原创 2018-07-31 09:27:33 · 230 阅读 · 0 评论 -
ZooKeeper 概念讲的最清楚的一篇文章
转载于公众号的一片文章: https://mp.weixin.qq.com/s/WNdovBpvJJanJArS2R1emg转载 2018-09-11 09:50:58 · 236 阅读 · 0 评论