- 博客(6)
- 收藏
- 关注
RSS订阅原创 Flink初识
一.产生背景实时流数据增多 : 互联网应用快速发展,实时流数据日益增多价值更大: 实时流数据的处理和挖掘带来的价值比离线数据处理要多大厂需求 : 各大互联网厂商需要一个能够快速响应和处理大规模实时流数据的技术其他流处理引擎不能够满足需求 : storm/jstorm,sparkstreaming等优秀的流处理引擎要求低延时,高吞吐,容错性好,窗口时间语义化,编程效率高,运行效果好storm/jstorm优点低延时缺点其他的都差一些sparkstreaming优点高吞吐,容错性好
2021-12-02 20:37:26
77
原创 Hive企业应用
一. 数据仓库架构设计数据仓库的主要工作就是ETL，即是英文 Extract-Transform-Load 的缩写，用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。1.数据架构架构原则：先水平分层，再垂直分主题域。 数据架构分三层源数据落地区(SDF:Source Data File)数据仓库层(DW:Data WareHou.
2021-10-22 21:15:46
104
原创 数据仓库HIVE（1）
HIVE概述 1.面向数据分析的存储系统 2.是一个面向主题的、集成的、不可修改的、反映历史变化的数据集合，用于数据分析，辅助管理决策。 *面向主题：指数据仓库中的数据是按照一定的主题域进行组织 *集成：指对原有分散的数据库数据经过系统加工，整理得到的消除原数据中的不一致性。 *不可修改：指一旦某个数据进入数据仓库之后只需要定期的加载、刷新，不会更改。 *反映历史变化：指通过这些信息，对企业的发展历程...
2021-10-19 11:38:43
139
原创 分布式资源管理与任务调度框架 Yarn
一、YARN简介1、YARN是什么 一种新的Hadoop资源管理器，一个通用资源管理系统 为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、资源共享效率。2、产生背景Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker，我们称之为MRv1。 Master：是整个集群唯一的管理者，功能包括：作业管理、状态监控和任务...
2021-10-14 12:12:54
533
原创 Spring介绍
1.Spring是什么?Spring 是一个开源框架，Spring 是于 2003 年兴起的一个轻量级的 Java 开发框架，由 Rod Johnson在其著作 Expert One-On-One J2EE Development and Design 中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为 J2EE应用程序开发提供集成的框架。Spring 使用基本的 JavaBean 来完成以前只..
2021-08-05 19:42:37
235
原创 mybatis总结02
1.#和$的区别#{}表示一个占位符号,可以防止sql注入${}表示拼接 sql 串,可以将 parameterType 传入的内容拼接在 sql 中且不进行 jdbc 类型转换当涉及到多个参数的时候,就可以使用注解的方式(@Param)来进行解决,如果参数的类型是String或者是类似于User实体类的时候,也需要用到注解2.parameterType和resultType2.1 parameter SQL 语句传参，使用标签的 parameterType 属性来设定,该属性...
2021-08-03 21:23:01
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人