![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
大数据开发,数据挖掘,推荐。
Coding Now
点点滴滴,皆是学问!
展开
-
Spark Streaming
Spark Streaming介绍• Spark Streaming是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理• 支持多种数据源获取数据:• Spark Streaming接收Kafka、Flume、HDFS等各种来源的实时输入数据,进行处理后,处理结构保存在HDFS、DataBase等各种地方Spark Core和Spark Str...原创 2020-01-06 17:48:26 · 352 阅读 · 0 评论 -
flume
flume简介是Apache软件基金顶级项目,一个分布式、可信任的弹性系统,用于高效收集、汇聚和移动大规模日志信息从多种不同的数据源到一个集中的数据存储中心。主要功能– 支持在日志系统中定制各类数据发送方,用于收集数据– Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力- 支持多种数据源特点• Flume可以高效率的将多个网站服务器中收集的日志信息存...原创 2020-01-04 15:39:06 · 462 阅读 · 0 评论 -
HDFS2.0
HDFS2.0的新特性• NameNode HA(高可用)• NameNode Federation• HDFS 快照• HDFS 缓存• HDFS ACL• 异构层级存储结构NameNode HAHDFS1.0中存在的问题:Hadoop 1.0中NameNode在整个HDFS中只有一个,存在单点故障风险,一旦NameNode挂掉,整个集群无法使用解决方法:...原创 2020-01-04 11:47:30 · 310 阅读 · 0 评论 -
Yarn(Hadoop2.0)
前言百度百科上的定义:Yarn介绍Hadoop集群的资源管理系统(ResourceManger->RM)• 更高级:集群操作系统 为应用程序提供了基本服务来更好地利用大的、动态的、并行的基础设施资源• Hadoop2.0对MapReduce框架做了彻底的重构,MapReduce不再是Hadoop的核心组件,而成为Yarn上的一 种应用框架,称为MRv2(Map...原创 2020-01-02 10:39:46 · 652 阅读 · 2 评论 -
Spark整理
Spark介绍一个分布式的并行计算框架 spark是下一代的map-reduce,扩展了mr的数据处理流程 executor都是装载在container里运行,container默认内存是1G(参数yarn.scheduler.minimum-allocation-mb定义) AM(Application Master)在Spark中叫driver,AM向RM申请的是execut...原创 2019-12-31 10:57:56 · 439 阅读 · 0 评论 -
Hive整理
Hive产生的原因: – 对存在HDFS上的文件或HBase中的表进行查询时,是要手工写一堆MapReduce代码 – 对于统计任务,只能由懂MapReduce的程序员才能搞定 – 耗时耗力,更多精力没有有效的释放出来Hive介绍:Hive基于一个统一的查询分析层,通过SQL语句的方式对HDFS上的数据进行查询、统计和分析。• Hive是一个SQL解析引擎,...原创 2019-12-27 16:13:52 · 318 阅读 · 0 评论 -
MapReduce小记和Hadoop Streaming
MapReduce中两个重要的进程– JobTracker • 主进程,负责接收客户作业提交,调度任务到作节点上运行,并提供诸如监控工作节点状态及任务进度等 管理功能,一个MapReduce集群有一个jobtracker,一般运行在可靠的硬件上。 • tasktracker是通过周期性的心跳来通知jobtracker其当前的健康状态,每一次心跳包含了可用的map和...原创 2019-12-27 15:37:50 · 349 阅读 · 0 评论 -
Hadoop基本命令
创建目录hadoop dfs -mkdir /home上传文件或目录到hdfshadoop dfs -put hello /hadoop dfs -put hellodir/ /查看目录hadoop dfs -ls /创建一个空文件hadoop dfs -touchz /wahaha删除一个文件hadoop dfs -rm /waha...转载 2019-12-27 13:27:51 · 300 阅读 · 0 评论 -
Hive Hql基本语法 全攻略
Hive Hql基本语法 全攻略2018-05-25 18:11:37大米饭精灵阅读数 5834更多分类专栏:Hive版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/qq_15300683/article/details/80455097Hive官网(HQL)语...转载 2019-11-25 10:58:13 · 334 阅读 · 0 评论 -
hive:记一次坑爹的报错!( tried to access method com.google.common.base.Stopwatch)
错误描述:hive> show databases;OKException in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred...原创 2019-11-14 17:29:07 · 7037 阅读 · 4 评论