![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
名字想好没。
这个作者很懒,什么都没留下…
展开
-
Ubuntu上安装Hadoop集群
原文地址: https://itweknow.cn/detail?id=67 ,欢迎大家访问。前面我们介绍了在Ubuntu上安装Hadoop单机版。但是我们知道,Hadoop在实际工作中都是以集群的形式存在的,毕竟需要处理大量的数据,单机的处理速度显然不能满足。所以这篇文章我们就来介绍一下如何在Ubuntu上搭建Hadoop集群。准备阶段三台在同一局域网内的Linux机器或者虚拟机...原创 2019-01-01 21:19:33 · 1057 阅读 · 0 评论 -
Hadoop之Avro介绍
原文地址: https://itweknow.cn/detail?id=70 ,欢迎大家访问。什么是AvroAvro是一个独立于编程语言的数据序列化系统。这个项目由Ddoug Cutting(Hadoop之父)创建,目标是解决Hadoop中Writable类型缺乏语言的可移植性的不足。Avro模式通常采用JSON来写,数据则采用二进制格式编码,也可采用基于JSON的数据编码方式。Avro...原创 2019-01-09 22:15:54 · 1036 阅读 · 0 评论 -
MapReduce中使用Avro
原文地址:https://itweknow.cn/detail?id=71 ,欢迎大家访问。上篇文章我们简要介绍了一下Avro是啥,以及其几种数据类型。那么通过这篇文章我们一起来实践一下Avro在MapReduce中的使用。前提条件一个maven项目Hadoop集群,如果你还没有安装的话,请戳这里,查看之前的文章。说明本篇文章是一个简单的用例,使用的例子是一个txt文件中存储了...原创 2019-01-09 22:16:47 · 338 阅读 · 0 评论