大数据
cenjianteng
这个作者很懒,什么都没留下…
展开
-
Flink启动报错UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.
2019-09-03 22:20:38,162 INFO org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Shutting StandaloneSessionClusterEntrypoint down with application status FAILED. Diagnostics java.io.IOEx...原创 2019-10-20 21:45:24 · 11874 阅读 · 1 评论 -
什么是hadoop?centos7安装hadoop-3.2.0
什么是hadoop?(官网解释)Apache™Hadoop®项目开发了用于可靠,可扩展的分布式计算的开源软件。Apache Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计用于检测和处理应用层的故障,从而在计算机集群之上提供高可用性服务,...原创 2019-06-16 11:47:31 · 481 阅读 · 0 评论 -
zookeeper的安装及简单介绍
zookeeper是什么?ZooKeeper是一种用于分布式应用程序的分布式开源协调服务。ZooKeeper的实现非常重视高性能,高可用性,严格有序的访问。zookeeper中的leader,如果连接节点失败,自动恢复,zk服务启动时完成leader选举。zookeeper的读取很快。写入需要告知leader,leader对每个server进行分发写入。zookeeper数据模...原创 2019-06-22 00:46:38 · 201 阅读 · 0 评论 -
HBase架构和原理
HBase简介分布式、可扩展的大数据存储 版本化的非关系数据库 随机访问,实时读/写 大表 - 数十亿行 乘以 百万列 面向列数据库 K-V 存储HBase和Hadoop / HDFS有什么区别?HDFS是一种分布式文件系统,非常适合存储大型文件。它不是通用文件系统,并且不提供文件中的快速单个记录查找。HBase建立在HDFS之上,为大型表提供快速记录查找(和更新)。HBas...转载 2019-07-17 21:29:31 · 1404 阅读 · 0 评论 -
HBase删除数据的原理
HBase 的删除操作并不会立即将数据从磁盘上删除,删除操作主要是对要被删除的数据打上标记。当执行删除操作时,HBase 新插入一条相同的 KeyValue 数据,但是使 keytype=Delete,这便意味着数据被删除了,直到发生 Major compaction 操作时,数据才会被真正的从磁盘上删除,删除标记也会从StoreFile删除。Time To Live (TTL)Col...原创 2019-07-21 10:44:59 · 5697 阅读 · 0 评论 -
Flink实战一 Apache Flink的简介
1.Flink是什么?Apache Flink 是一个框架和分布式处理引擎,用于在无界和有界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。2.Flink的特点Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。它的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等...原创 2019-07-27 14:58:06 · 2579 阅读 · 0 评论 -
Flink实战二 Flink的基本架构和原理
组件栈API & Libraries层基于流处理的:CEP(复杂事件处理库)、SQL&Table库基于批处理的:FlinkML(机器学习库)、GElly(图处理库)等API层: DataStream API(流计算)、DataSet API(批计算)Core层支持分布式Stream作业的执行、JobGraph到ExecutionGraph的映射转换、任务...原创 2019-08-10 18:34:34 · 3643 阅读 · 0 评论 -
Flink实战三 Flink的安装与部署及使用
安装Flink1.91、准备:jdk 1.8 SSH免密登录 三台以上机器(我准备了五台):centos7-1、centos7-2、centos7-3、centos7-4、centos7-5 zookeeper:centos7-3、centos7-4、centos7-5 ...2、从官网下载flink:https://flink.apach...原创 2020-04-20 22:02:11 · 1453 阅读 · 0 评论