Hadoop
微瞰技术
java
展开
-
Flume基础学习
Flume是一款非常优秀的日志采集工具。支持多种形式的日志采集,作为apache的顶级开源项目,Flume再大数据方面具有广泛的应用 首先需要在Flume的解压目录中conf文件夹中将flume-env.sh.templete更改未flume.env.sh 并修改jdk的位置 Source 我们可以从Avro,NetCat。Http,TailDir。我们在Java开发中通常都是使用的log4j等日...原创 2020-02-13 09:55:00 · 772 阅读 · 0 评论 -
本地MapReduce案例分享
没有接触的时候,以为MapReduce只能通过远程Hadoop虚拟机才能运行,学习了相关课程之后,发现这种计算也可以在本地运行,只是在部署的时候需要部署到远程服务器上就行了 引入的pom.xml <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>...原创 2019-07-08 07:06:58 · 380 阅读 · 0 评论 -
Yarn部署以及可能出现的问题
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处 Hadoop内置了Yarn管理工具,我们只需要进行一定的配置就行了 编辑mapred-site.xml ha...原创 2019-07-08 07:36:36 · 792 阅读 · 0 评论