小象Hadoop
hadoop专栏,为更好记录我学习和实践的hadoop相关知识,供需要者参考
1-只小猴子
这个作者很懒,什么都没留下…
展开
-
Hadoop编程——Elasticsearch for Apache Hadoop从HDFS导入数据到Elasticsearch
Hadoop编程——从HDFS导入数据到Elasticsearch一、Elasticsearch for Apache Hadoop安装1.1 官网下载zip安装包1.2 maven方式下载1.3 将ES-hadoop 的jar包加入环境变量二、准备数据三、从HDFS读取文档索引到ES四、API分析Hadoop编程——从HDFS导入数据到Elasticsearch...原创 2019-07-18 15:09:51 · 2271 阅读 · 0 评论 -
大数据学习——初识Hadoop
Hadoop简介Hadoop,这个名字没有特别含义,只是项目创建者的孩子为一个棕黄色的大象玩具起的名字。Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式...原创 2019-06-28 19:16:37 · 248 阅读 · 0 评论 -
Hadoop、Spark等5种大数据框架对比,你的项目该用哪种?
Hadoop、Spark等5种大数据框架对比,你的项目该用哪种? 本文将介绍并对比5种主流大数据框架,助你更深层次了解这些框架,从而在项目中更好地使用它们。 本文首发于InfoQ垂直号「大数据杂谈」,转载已获授权。简介 大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的...转载 2019-06-25 11:50:53 · 491 阅读 · 0 评论 -
Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8完全分布式集群)
关键字:LinuxCentOS Hadoop Java版本: CentOS7 Hadoop3.2.0 JDK1.8说明:Hadoop从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。1.下载hadoop 本博文使用的hadoop是3...原创 2019-06-27 19:24:57 · 10911 阅读 · 10 评论 -
SpringBoot + Flume + Hadoop搭建日志采集系统(通过Flume输送springboot项目日志到Hdfs文件存储服务器)
主旨:讲述SpringBoot项目使用LogBack日志,LogBack + Flume收集日志到Hdfs文件存储服务器的环境搭建主要软件版本配置说明: SpringBoot-2.1.4 (windows10 IDEA DeBug模式运行) Flume-1.9.0 (部署在hadoop-1服务器上,也就是hadoop主节点所在服务器) ...原创 2019-07-05 16:13:32 · 3356 阅读 · 0 评论