大数据
wise_nut
新手一枚,请多多指教
展开
-
Flink--(一、初识Flink)
原文链接: Flink–(一、初识Flink).Flink 是什么Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。Flink 的全球热度与为什么选择 Flink流数据更真实地反映了我们的生活方式传统的数据架构是基于有限数据集的目标Ø 低延迟Ø 高吞吐Ø 结果的准确性和良好的容错性哪些行业需要处理流数据电商和市场营销Ø 数据报表、广告投放、业务流程需要物联网(IOT)Ø 传感器实时数据采集和显示、实时报警,交通运输业电信业Ø 基原创 2020-09-16 22:43:26 · 185 阅读 · 0 评论 -
Yarn -- 资源调度器
原文链接: Yarn – 资源调度器.简介Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。Yarn基本架构Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成,如下图所示:Yarn的工作机制工作机制详解:MR程序提交到客户端所在的节点。YarnRunner向ResourceManager申请一个原创 2020-08-12 01:26:31 · 292 阅读 · 0 评论 -
Flink初探之 动态限流
前言最近一段时间,接触到公司flink代码,修改时遇到一个flink常见问题,就是上游Producer生产数据的效率大于下游Consumer的消费速度,所以查阅一些大佬的资料,将这一问题记录,后续系统学习flink的时候复习一下Flink 流处理为什么需要网络流控?分析一个简单的 Flink 流任务,下图是一个简单的Flink流任务执行图:任务首先从 Kafka 中读取数据、 map 算子对数据进行转换、keyBy 按照指定 key 对数据进行分区(相同 key 的数据经过 keyBy 后分到同一个转载 2020-07-27 23:51:34 · 2886 阅读 · 0 评论 -
Zookeeper(二、分布式集群安装与命令行操作)
原文链接: Zookeeper(二、分布式集群安装与命令行操作).1. 前置条件安装Hadoop集群链接: Hadoop(二、安装Hadoop-3.2.1集群).在hadoop100、hadoop101和hadoop102三个节点上部署Zookeeper。使用的是Zookeeper-3.6.1版本链接:https://pan.baidu.com/s/1PKpjntrFyT-yiF20EdlL_Q提取码:c0ol2.解压安装上传压缩包到centos7 ,hadoop100机器上# 使用原创 2020-06-24 00:49:27 · 187 阅读 · 0 评论 -
Zookeeper(一、大数据之ZooKeeper基础与原理)
原文链接:Zookeeper(一、大数据之ZooKeeper基础与原理).1. 概述Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。官网:link.2. 特点3. 数据结构4. 应用场景提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。统一命名服务统一配置管理统一集群管理服务器动态上下线软负载均衡5. Zookeeper内部原理选举机制(重点)半数机制:集群中半数以上机器存活,集群原创 2020-06-23 02:01:15 · 218 阅读 · 0 评论 -
HDFS(一、HDFS概述、客户端、shell操作)(更新中)
1. HDFS定义HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,他是分布式的,由很多服务器联合起来实现其功能,集群的中的服务器都有各自的角色。HDFS使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用(读写频繁的)2. HDFS优缺点1. 优点:2. 缺点:3、HDFS组成架构...原创 2020-06-19 01:15:14 · 262 阅读 · 0 评论 -
Hadoop(三、hadoop运行模式与案例)
1、Hadoop运行模式Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。Hadoop官方网站: 链接: link.hadoop工程模块、相关工程包括哪些?如下图hadoop 生态中,相关工程中:Hbase、Hive、spark、zookeeper是必学的...原创 2020-06-14 21:47:09 · 473 阅读 · 0 评论 -
Hadoop(二、centos7安装Hadoop-3.2.1集群--超详细)
原文链接 : Hadoop(二、安装Hadoop-3.2.1集群).1. 前置条件准备3台虚拟机,关闭防火墙,修改主机名与ip,互相能ping通,设置ssh免密登录jdk版本:java version “1.8.0_251”Hadoop版本:hadoop-3.2.1链接:https://pan.baidu.com/s/1ygVjxxEl3aFIaFwJHwQD9g提取码:mi8x参考资料:链接: VMware虚拟机网络连接的3种方式.链接: Centos7 修改UUID、IP和主机名.原创 2020-06-07 17:38:14 · 827 阅读 · 0 评论 -
Hadoop(一、Hadoop与大数据生态)
原文链接: Hadoop(一、Hadoop与大数据生态).1、Hadoop是什么2、Hadoop发行版本Hadoop三大发行版本:Apache、Cloudera、Hortonworks。Apache 版本最原始(最基础)的版本,对于入门学习最好(目前我所学习的版本)。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。其他的发行版本 :Apache hadoop http://hadoop.apache.org/Cloudera hadoop(CDH)原创 2020-06-04 23:49:46 · 394 阅读 · 0 评论