![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据笔记
下课铃声
下课铃声才是真正的中国好声音!
展开
-
kafka --- 系列二(kafka最全面试题)
目录1、请说明什么是Apache Kafka?2、说说Kafka的使用场景?3、使用Kafka有什么优点和缺点?4、为什么说Kafka性能很好,体现在哪里?5、请说明什么是传统的消息传递方法?6、请说明Kafka相对传统技术有什么优势?7、解释Kafka的Zookeeper是什么?我们可以在没有Zookeeper的情况下使用Kafka吗?8、解释Kafka的用...原创 2019-11-16 23:16:50 · 577 阅读 · 0 评论 -
kafka --- 系列一(kafka概念及相关名词解释)
一、kafka概念Kafka是由LinkedIn开发的一个分布式的消息系统,最初是用作LinkedIn的活动流(Activity Stream)和运营数据处理的基础。活动流数据包括页面访问量(Page View)、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件,然后周期性地对这些文件进行统计分析。运营数据指的是服务器的性能数据(CP...原创 2019-11-16 22:53:23 · 239 阅读 · 0 评论 -
ETL工具Kettle使用以及与Java整合实现数据清洗
kettle有两种脚本方式:转换和工作,工作中可以添加转换.以下以转换为例.1.新建一个转换,2.在工作中经常用到的是表输入和表输出(从一个数据库中提炼数据,插入到另外一个数据库中进行保存)点击核心对象 --> 输入 --> 表输入这个节点是用来从数据库中查询数据点击“表输入”-->新建 首先创建一个数据库连接,要让kettle知道从哪里查询数据...转载 2019-11-14 22:37:33 · 958 阅读 · 0 评论 -
BI 相关名词解释
本文根据BI架构数据流程顺序排序(0.0)OLTP(on-line transaction processing)联机事务处理,OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理。OLTP也称为面向交易的处理过程,其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式之一。OLAP(On-Line ...原创 2019-11-01 22:19:21 · 434 阅读 · 0 评论 -
ZooKeeper安装配置笔记
ZooKeeper概述================================================================================================1. 分布式环境下数据一致的基本问题分布式环境下,为了保证数据的可靠或分布式的处理,数据往往具有多个副本,而当数据发生变化时,如何保证数据一致就成了问题.这是分布式环境下数据...原创 2019-01-21 14:47:32 · 328 阅读 · 1 评论 -
大数据相关技术介绍
基础:常用算法与数据结构、HTML、CSS、JavaScript操作系统:Linux编程语言:Java:IO模型、网络编程、多线程、内存管理机制等基础知识|熟悉缓存、消息队列、索引查询|高并发、高负载、高可用系统的设计开发及调优Java Web项目,SSM等框架,前后台交互Shell脚本编程:自动化管理操作Python编程Scala语言 数据库: MyS...原创 2019-02-12 15:21:55 · 4461 阅读 · 0 评论