qq_58765786的博客

一、数据加载层：ETL（Extract-Transform-Load）二、数据运营层：ODS（Operational Data Store）三、数据仓库层：DW（Data Warehouse） 1. 数据明细层：DWD（Data Warehouse Detail） 2. 数据中间层：DWM（Data WareHouse Middle） 3. 数据服务层：DWS（Data WareHouse Service）四、数据应用层：APP（Application）

SQL优化https://blog.csdn.net/weixin_53601359/article/details/115553449sql的语法顺序1. SELECT <返回数据列表> # 返回的单列必须在group by子句中，聚合函数除外2. DISTINCT <select_list> # 数据除重3. FROM <left_table> <表名> # 选取表4. <join_type> JOIN <righ

1.概念说明Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者） 一种新的Hadoop资源管理器，一个通用资源管理系统 为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、数据共享效率2.特点特征资源管理与计算框架解耦设计，一个集群资源共享给上层各个计算框架，按需分配，大幅度提高资源利用率 运维成本显著下降，只需运维一个集群，同时运行满足多种业务需求的计算框架 集群内数据共享一致，数据不再需要集群间

1.概念说明MapReduce是一种编程模型,是面向大数据并行处理的计算模型、框架和平台MapReduce是一个基于集群的高性能并行计算平台。MapReduce是一个并行计算与运行的软件框架。MapReduce是一个并行程序设计模型与方法。2.特点特征特点：1.分布可靠，对数据集的操作分发给集群中的多个节点实现可靠性，每个节点周期性返回它完成的任务和最新的状态2.封装了实现细节，基于框架API编程，面向业务展开分布式编码3....

1.概念说明HDFS是Hadoop分布式文件系统2.特点特征1.高容错性和高可用性，硬件错误是常态而不是异常2.流式数据访问3.弹性存储，支持大规模数据集4.简单一致性原则5.移动计算而非移动数据6.协议和接口多样性7.多样的数据管理功能3.应用场景各大电信运营商 中大型互联网公司，如BAT、京东、乐视、美团等 金融银行保险类公司 各大云平台底层存储平台 其他本地系统无法承载存储能力的应用4.代码实现public class ReadFromHdf

1.项目起源Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。2.所用版本目前Hadoop版本以Hadoop2.7.x为主，我们的课程选择Hadoop2.7.3。3.Hadoop核心组件与应用组件介绍 :HDFS:分布式海量数据存储功能Yarn:提供...

1.多态1.1相关知识

一、什么是maven?目前无论使用IDEA还是Eclipse等其他IDE,使用里面ANT工具,ANT工具帮助我们进行编译,打包运行等工作。Apache基于ANT进行了升级,研发出了全新的自动化构建工具Maven,Maven是Apache的一款开源的项目管理工具.以后无论是普通javase项目还是javaee项目,我们都创建的是Maven项目, Maven使用项目对象模型(POM-Project Object Model,项目对象模型)的概念,可以通过一小段描述信息来管理项目的构...

一、复习和回顾Spring的优势有哪些 IOC,Spring是一个容器，通过容器管理实例，降低模块之间的耦合度 AOP，面向切面，减少重复代码，弥补OOP中一些不足，从横向的角度减少重复代码，项目更容易维护 Spring的生态和社区非常丰富 通过声明式事务，可以通过注解定义事务 Transactional 和junit集成，方便的进行测试样例的编写 比较灵活，可以和多个开源框架集成，如：mybatis 它对很多java的api进行了封装，降低了我们使用这些api的

前言MyBatis相信很多人都会使用，但是当MyBatis整合到了Spring中，我们发现在Spring中使用更加方便了。例如获取Dao的实例，在Spring的我们只需要使用注入的方式就可以了使用Dao了，完全不需要调用SqlSession的getMapper方法去获取Dao的实例，更不需要我们去管理SqlSessionFactory，也不需要去创建SqlSession之类的了，对于插入操作也不需要我们commit。既然那么方便，Spring到底为我们做了哪些工作呢，它如何将MyBatis整合到Sp

的作用是向Spring容器注册以下四个BeanPostProcessor：AutowiredAnnotationBeanPostProcessorCommonAnnotationBeanPostProcessorPersistenceAnnotationBeanPostProcessorRequiredAnnotationBeanPostProcessor那么，为什么要注册这四个BeanPostProcessor呢？是为了让系统能够识别相应的注解。例如：1、如果想使用@Aut

1. jdbcTemplate1.1 概述它是 spring 框架中提供的一个对象，是对原始 Jdbc API 对象的简单封装。spring 框架为我们提供了很多的操作模板类。操作关系型数据的：JdbcTemplateHibernateTemplate操作 nosql 数据库的：RedisTemplate操作消息队列的：JmsTemplate我们今天的主角在 spring-jdbc.jar 中，我们在导包的时候，除了要导入这个 jar 包 外，还需要导入一个 spri

1. IOC注解Spring框架中有注解和XML两种配置方式,包括Spring中的IOC和AOP也一样,都有XML和注解两种方式两种方式各有千秋。1.1 xml和注解的区别1.1.1 XML配置优点:1.XMl配置方式进一步降低了耦合,使得应用更加容易扩展,即使对配置文件进一步修改也不需要工程进行修改和重新编译。2.再处理打的业务量的时候，用XML配置应该更加好一些。因为XMl更加清晰的表明了各个对象之间的关系，各个业务类之间的调用。同时spring的次昂管配置也能一...

目录1.Spring是什么2、为什么使用Spring？3.环境搭建3.1、创建java项目导入相应jar包3.2、创建配置文件3.3、添加相应模块3.4、将bean的实例化交给Spring3.5、测试类4、通过构造方法注入5、普通属性注入6、scope6.1、singleton6.2、prototype6.3、request6.4、session6.5、global session6.6、配置scope方式7、集合属性7.1、相关类

目录一、完成连接池的配置和使用1、连接池2、mybatis中的连接池3、源码分析3.1、三类数据源的关系3.2、mybatis中数据源的创建过程3、非池化的数据源UnpooledDataSource4、带连接池的PooledDataSource二、Mybatis的事务1、 JDBC中的事务2、 Mybatis中的事务提交方式3、 事务的回滚三、 事务的隔离级别四、 延迟加载策略4.1 什么是延迟加载4.2、需求4.3、collection

分页、配置文件标签使用、动态SQL、关联查询回顾Mybatis环境搭建 Mybatis的三种Mapper形式本章内容一、常用标签介绍二、单元测试介绍三、实现分页查询四、完成模糊查询五、掌握动态SQL六、关联查询本章目标一、了解各标签用法二、独立完成模糊查询三、掌握动态SQL标签四、掌握关联查询五、熟练使用单元测试-----------------------------------------------------

一、什么是框架？

1.XMLXml格式的文件在接下来的框架学习尤为重要，比如在框架中的配置文件大多都是用的xml格式的文件来配置的，所以xml格式的文件创建与解析特别重要。1.1 XML概念 XML（eXtensible Markup Language）是一种可扩展标识语言，是一种简单的数据存储语言，使用一系列简单的标记描述数据。目前推荐遵循的是W3C组织于2000年发布的XML1.0版本。1.2 XML语法规则①、声明标签定在首行：<?xml version=“1.0” encodin...

反射： 在程序运行时动态的获取类中的属性方法等内容的机制，叫反射。 反射中要用到Class类 获取Class类对象的三种方式 1、类名.class User.class 2、对象.getClass() 3、Class.forName("全类名"); 获取类的内容 ...

1.Filter 什么是过滤器1、Filter 过滤器它是 JavaWeb 的三大组件之一。三大组件分别是：Servlet 程序、Listener 监听器、Filter 过滤器 2、Filter 过滤器它是 JavaEE 的规范。也就是接口 3、Filter 过滤器它的作用是：拦截请求，过滤响应。 拦截请求常见的应用场景有： 1、权限检查 2、日志操作 3、事务管理 ……等等 2. Filter 的初体验要求：在你的 web 工程下，有一个 admin 目录。这个 a