- 博客(66)
- 收藏
- 关注
RSS订阅原创 数据仓库--数据分层（ETL、ODS、DW、APP、DIM）
一、数据加载层：ETL（Extract-Transform-Load）二、数据运营层：ODS（Operational Data Store）三、数据仓库层：DW（Data Warehouse） 1. 数据明细层：DWD（Data Warehouse Detail） 2. 数据中间层：DWM（Data WareHouse Middle） 3. 数据服务层：DWS（Data WareHouse Service）四、数据应用层：APP（Application）
2022-06-01 13:12:22
1031
1
原创 SQL优化
SQL优化https://blog.csdn.net/weixin_53601359/article/details/115553449sql的语法顺序1. SELECT <返回数据列表> # 返回的单列必须在group by子句中，聚合函数除外2. DISTINCT <select_list> # 数据除重3. FROM <left_table> <表名> # 选取表4. <join_type> JOIN <righ
2022-03-25 09:59:04
295
原创 分布式资源管理与任务调度框架Yarn
1.概念说明Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者） 一种新的Hadoop资源管理器，一个通用资源管理系统 为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、数据共享效率2.特点特征资源管理与计算框架解耦设计，一个集群资源共享给上层各个计算框架，按需分配，大幅度提高资源利用率 运维成本显著下降，只需运维一个集群，同时运行满足多种业务需求的计算框架 集群内数据共享一致，数据不再需要集群间
2022-03-24 22:09:56
2978
原创 分布式计算框架Map/Reduce
1.概念说明MapReduce是一种编程模型,是面向大数据并行处理的计算模型、框架和平台MapReduce是一个基于集群的高性能并行计算平台。MapReduce是一个并行计算与运行的软件框架。MapReduce是一个并行程序设计模型与方法。2.特点特征特点：1.分布可靠，对数据集的操作分发给集群中的多个节点实现可靠性，每个节点周期性返回它完成的任务和最新的状态2.封装了实现细节，基于框架API编程，面向业务展开分布式编码3....
2022-03-24 22:03:37
607
原创 分布式文件存储系统HDFS
1.概念说明HDFS是Hadoop分布式文件系统2.特点特征1.高容错性和高可用性，硬件错误是常态而不是异常2.流式数据访问3.弹性存储，支持大规模数据集4.简单一致性原则5.移动计算而非移动数据6.协议和接口多样性7.多样的数据管理功能3.应用场景各大电信运营商 中大型互联网公司，如BAT、京东、乐视、美团等 金融银行保险类公司 各大云平台底层存储平台 其他本地系统无法承载存储能力的应用4.代码实现public class ReadFromHdf
2022-03-24 20:49:27
6082
原创 初识Hadoop
1.项目起源Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。2.所用版本目前Hadoop版本以Hadoop2.7.x为主，我们的课程选择Hadoop2.7.3。3.Hadoop核心组件与应用组件介绍 :HDFS:分布式海量数据存储功能Yarn:提供...
2022-03-24 18:46:57
2682
原创 Maven 教程
一、什么是maven?目前无论使用IDEA还是Eclipse等其他IDE,使用里面ANT工具,ANT工具帮助我们进行编译,打包运行等工作。Apache基于ANT进行了升级,研发出了全新的自动化构建工具Maven,Maven是Apache的一款开源的项目管理工具.以后无论是普通javase项目还是javaee项目,我们都创建的是Maven项目, Maven使用项目对象模型(POM-Project Object Model,项目对象模型)的概念,可以通过一小段描述信息来管理项目的构...
2022-01-06 19:43:06
928
原创 Java SpringMVC
一、复习和回顾Spring的优势有哪些 IOC,Spring是一个容器，通过容器管理实例，降低模块之间的耦合度 AOP，面向切面，减少重复代码，弥补OOP中一些不足，从横向的角度减少重复代码，项目更容易维护 Spring的生态和社区非常丰富 通过声明式事务，可以通过注解定义事务 Transactional 和junit集成，方便的进行测试样例的编写 比较灵活，可以和多个开源框架集成，如：mybatis 它对很多java的api进行了封装，降低了我们使用这些api的
2021-12-23 20:10:48
315
原创 Java--004 Spring整合Mybatis
前言MyBatis相信很多人都会使用，但是当MyBatis整合到了Spring中，我们发现在Spring中使用更加方便了。例如获取Dao的实例，在Spring的我们只需要使用注入的方式就可以了使用Dao了，完全不需要调用SqlSession的getMapper方法去获取Dao的实例，更不需要我们去管理SqlSessionFactory，也不需要去创建SqlSession之类的了，对于插入操作也不需要我们commit。既然那么方便，Spring到底为我们做了哪些工作呢，它如何将MyBatis整合到Sp
2021-12-22 20:02:11
379
原创 contextannotation-config
的作用是向Spring容器注册以下四个BeanPostProcessor：AutowiredAnnotationBeanPostProcessorCommonAnnotationBeanPostProcessorPersistenceAnnotationBeanPostProcessorRequiredAnnotationBeanPostProcessor那么，为什么要注册这四个BeanPostProcessor呢？是为了让系统能够识别相应的注解。例如：1、如果想使用@Aut
2021-12-22 19:48:35
303
原创 Java--003 Spring整合jdbcTemplate及Mybatis
1. jdbcTemplate1.1 概述它是 spring 框架中提供的一个对象，是对原始 Jdbc API 对象的简单封装。spring 框架为我们提供了很多的操作模板类。操作关系型数据的：JdbcTemplateHibernateTemplate操作 nosql 数据库的：RedisTemplate操作消息队列的：JmsTemplate我们今天的主角在 spring-jdbc.jar 中，我们在导包的时候，除了要导入这个 jar 包 外，还需要导入一个 spri
2021-12-22 19:47:13
1081
原创 Java--002 Spring 注解和AOP实现
1. IOC注解Spring框架中有注解和XML两种配置方式,包括Spring中的IOC和AOP也一样,都有XML和注解两种方式两种方式各有千秋。1.1 xml和注解的区别1.1.1 XML配置优点:1.XMl配置方式进一步降低了耦合,使得应用更加容易扩展,即使对配置文件进一步修改也不需要工程进行修改和重新编译。2.再处理打的业务量的时候，用XML配置应该更加好一些。因为XMl更加清晰的表明了各个对象之间的关系，各个业务类之间的调用。同时spring的次昂管配置也能一...
2021-12-22 19:37:56
164
原创 Java Spring框架----介绍
目录1.Spring是什么2、为什么使用Spring？3.环境搭建3.1、创建java项目导入相应jar包3.2、创建配置文件3.3、添加相应模块3.4、将bean的实例化交给Spring3.5、测试类4、通过构造方法注入5、普通属性注入6、scope6.1、singleton6.2、prototype6.3、request6.4、session6.5、global session6.6、配置scope方式7、集合属性7.1、相关类
2021-12-20 19:08:09
762
原创 Java 连接池、事务、一对多和多对多配置
目录一、完成连接池的配置和使用1、连接池2、mybatis中的连接池3、源码分析3.1、三类数据源的关系3.2、mybatis中数据源的创建过程3、非池化的数据源UnpooledDataSource4、带连接池的PooledDataSource二、Mybatis的事务1、 JDBC中的事务2、 Mybatis中的事务提交方式3、 事务的回滚三、 事务的隔离级别四、 延迟加载策略4.1 什么是延迟加载4.2、需求4.3、collection
2021-12-16 20:51:38
402
原创 Java mybatis框架 分页、配置文件标签使用、动态SQL、关联查询
分页、配置文件标签使用、动态SQL、关联查询回顾Mybatis环境搭建 Mybatis的三种Mapper形式本章内容一、常用标签介绍二、单元测试介绍三、实现分页查询四、完成模糊查询五、掌握动态SQL六、关联查询本章目标一、了解各标签用法二、独立完成模糊查询三、掌握动态SQL标签四、掌握关联查询五、熟练使用单元测试-----------------------------------------------------
2021-12-15 21:48:06
231
原创 XML配置
1.XMLXml格式的文件在接下来的框架学习尤为重要，比如在框架中的配置文件大多都是用的xml格式的文件来配置的，所以xml格式的文件创建与解析特别重要。1.1 XML概念 XML（eXtensible Markup Language）是一种可扩展标识语言，是一种简单的数据存储语言，使用一系列简单的标记描述数据。目前推荐遵循的是W3C组织于2000年发布的XML1.0版本。1.2 XML语法规则①、声明标签定在首行：<?xml version=“1.0” encodin...
2021-12-12 20:01:14
761
原创 JAVA 反射
反射： 在程序运行时动态的获取类中的属性方法等内容的机制，叫反射。 反射中要用到Class类 获取Class类对象的三种方式 1、类名.class User.class 2、对象.getClass() 3、Class.forName("全类名"); 获取类的内容 ...
2021-12-06 19:21:53
583
原创 JavaWeB Filter 过滤器
1.Filter 什么是过滤器1、Filter 过滤器它是 JavaWeb 的三大组件之一。三大组件分别是：Servlet 程序、Listener 监听器、Filter 过滤器 2、Filter 过滤器它是 JavaEE 的规范。也就是接口 3、Filter 过滤器它的作用是：拦截请求，过滤响应。 拦截请求常见的应用场景有： 1、权限检查 2、日志操作 3、事务管理 ……等等 2. Filter 的初体验要求：在你的 web 工程下，有一个 admin 目录。这个 a
2021-12-05 20:03:02
105
原创 Cookie 和 Session
1. Cookie 饼干1.1 什么是Cookie?1、Cookie 翻译过来是饼干的意思。 2、Cookie 是服务器通知客户端保存键值对的一种技术。 3、客户端有了 Cookie 后，每次请求都发送给服务器。 4、每个 Cookie 的大小不能超过 4kb 1.2 如何创建CookieServlet 程序中的代码： protected void createCookie(HttpServletRequest req, HttpServletResponse res.
2021-12-02 20:53:07
71
原创 JavaWeb el表达式 & jstl
目录1. EL 表达式1.1 什么是 EL 表达式, EL 表达式的作用?1.2 EL 表达式搜索域数据的顺序1.3 EL 表达式输出 Bean 的普通属性, 数组属性。List 集合属性, map集合属性1.4 EL 表达式——运算1.4.1 关系运算1.4.2 逻辑运算1.4.3 算数运算1.5 EL 表达式的11 个隐含对象1.5.2 pageContext 对象的使用1.5.3 EL 表达式其他隐含对象的使用2. JSTL biaoq...
2021-12-01 18:51:29
136
原创 JAVA WEB ---JSP
目录1.什么是jsp,它有什么用?2. Jsp 的本质是什么jsp 页面本质上是一个 Servlet 程序。3. Jsp 的三种语法3.1 jsp 头部的page 指令3.2. jsp 中常用的脚本3.2.1 声明脚本(极少使用)3.2.2 表达式脚本(常用)3.2.3 代码脚本3.3 jsp 中的三种注释3.3.1 html 注释3.3.2 Java 注释3.3.3 jsp注释4. JSP 九大内置对象5. JSP 四大域对象...
2021-11-30 19:02:56
196
原创 JavaWEB-Servlet
目录1. Web流程1.1软件架构2.B/S：浏览器/服务器端1.3网络通信三要素1.4 流程图2. Web服务器软件2.1 概念2.2常见的与java相关的服务器软件2.3 Tomcat3. Servlet3.1 概述3.2快速入门3.3. 执行原理3.1 生命周期3.4 ServletConfig 类3.5ServletContext类3.6 HTTP协议3.6 Request&Response3.6.1 H...
2021-11-29 22:46:46
609
原创 jQuery效果、事件原理、插件
1. jQuery 事件1.1 什么是事件1、页面对不同访问者的响应叫做事件。2、实例：在元素上移动鼠标、选取单选按钮、点击元素1.2 事件语法1. 单击事件$("p").click(function(){ // 动作触发后执行的代码!! });2. 双击事件$("p").dblclick(function(){ $(this).hide(); })3. 鼠标进入$("#p1").mouseenter(functi...
2021-11-26 01:26:04
167
原创 jQuery基础
1.jQuery介绍1.1 JavaScript 与 jQueryjs: 1、入口函数只有一个，window.onload浏览器兼容性：非常令人头疼，比如textContent虽然作为标准方法但是只支持IE8+以上的浏览器 DOM错综复杂，实现简单的效果很麻烦 代码容错性差，出错后导致后面的代码不执行jQuery: 1、市场占有率稳步上升，代码比较少，功能强大2、DOM比较强大，事件处理，完全解决了浏览器的兼容性问题3、ajax操作（比较好）1.2 什么是jQuery...
2021-11-24 21:45:56
72
原创 DOM节点操作、事件、BOM
1. 节点操作1.1 什么是节点根据W3C的HTML DOM 标准,HTML 文档中所有内容都是节点;整个文档是一个文档节点 document每个HTML 元素内的文本是文本节点HTML 元素内的文本节点每个 HTML 属性是属性节点注释是注释节点1.2 节点类型通过noteType属性可以获取节点的类型document 的节点类型-----9console.log(document.noteType);//9标签的节点类型----1var box1
2021-11-22 19:52:10
122
原创 DOM 操作 、 属性操作与事件
一 、 DOM 操作1. webapi 介绍1.1 API 的概念API(Application Programming Interface , 应用程序编程接口) 是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无序访问源码,或理解内部工作机制的细节。例如 : alert() prompt() log() reverse() getMonths()任何开发语言都有自己的APIAPI的特征输入和输出(I/O)API 的使用方法(con..
2021-11-21 22:24:26
211
原创 数组、函数、预解析、对象、错误处理、常用内置对象
1. 数组1.1 为什么要学习数组之前学习的数据类型，只能存储一个值(比如：Number/String。如果我们想存储班级中所有学生的姓名，此时该如何存储？1.2 数组的定义所谓数组，就是将多个元素（通常是同一类型）按一定顺序排列放到一个集合中，那么这个集合我们就称之为数组。数组是一个有序的列表，可以在数组中存放任意的数据，并且数组的长度可以动态的调整。1.3 通过数组字面量创建数组// 创建一个空数组var arr1 = []; // 创建一个包含3个数值的数组.
2021-11-18 22:02:28
126
原创 变量、数据类型、运算、流程控制
目录1. JavaScript介绍1.1JavaScript是什么1.1.1JavaScript的历史1.1.2 JavaScript是什么语言1.1.3 JavaScript的发展和意义1.1.4 JavaScript和HTML、CSS的区别1.1.5 JavaScript 的组成1.2 JavaScript代码写法1.3JavaScript问题总结1.4 注释2. JavaScript变量2.1 变量引入2.2 变量声明和初始化2.3 变量的命名.
2021-11-17 20:07:16
199
原创 盒子模型、浮动与定位
盒子模型、盒子模型其实，CSS就三个大模块：盒子模型、浮动、定位，其余的都是细节。要求这三部分，无论如何也要学的非常精通。所谓盒子模型就是把HTML页面中的元素看作是一个矩形的盒子，也就是一个盛装内容的容器。每个矩形都由元素的内容、内边距（padding）、边框（border）和外边距（margin）组成。这里略过老旧的ie盒子模型（IE6以下），对不起，我都没见过IE5的浏览器。 首先，我们来看一张图，来体会下什么是盒子模型。所有的文档元素（标签）都会生成一个矩形框，我们成为元素.
2021-11-16 22:00:22
728
原创 CSS初始、CSS选择器、CSS标签
1. CSS初始1.1 CSS的发展历程 从HTML被发明开始，样式就以各种形式存在。不同的浏览器结合它们各自的样式语言为用户提供页面效果的控制。最初的HTML只包含很少的显示属性。随着HTML的成长，为了满足页面设计者的要求，HTML添加了很多显示功能。但是随着这些功能的增加，HTML变的越来越杂乱，而且HTML页面也越来越臃肿。于是CSS便诞生了。1.2 CSS网页的美容师 CSS的出现，拯救了混乱的HTML，当让更加拯救了我们web开发者。 让我们的网页更加丰富多彩。 ...
2021-11-15 21:08:27
282
原创 表格、表单和H5
一 、知识点1. 表格标签表格是较为常用的一种标签,但不是用来布局,常用来处理、显示表格式数据(1) .创建表格 在HTMl网页中,要想创建表格,就需要使用表格相关的标签。创建表格的基本语法格式如下:<table> <tr> <td>单元格内的文字</td> ... </tr> ...</table> 在上面的语法中包含三对HTML标签,分别为table,tr,td,他...
2021-11-14 13:28:21
248
原创 Java IP归属地在线查询平台
一 、项目介绍1. 背景根据IP得到位置,加标签进行大数据分析,比如淘宝推荐等提供优质数据www.ip.cn 等 查询IP2. 需求IP 分析 归属地信息 , 查找在毫秒内完成IP地址库,公网都是开放的IANA : 国际组织,负责公网IP维护分发3.技术栈Eclipse ,JavaSE中面向对象、IO流、二分法算法、Base64编码、工具类封装4. 目标通过开发IP地址归属地查询平台，我们需要对JavaSE综合技术有所提升，增强实战能力。学习完该项目我们应该具
2021-11-11 23:11:38
1490
2
原创 HTML 基础
一. 课程大纲1.1课程大纲1.2HTML+CSS课程结构图二. 知识点1. 开发工具我们主要用的开发工具有 编辑器、浏览器、photoshop。1.1 编辑器常用的前端编辑器有：dreamweaver、sublime、webstorm、Hbuilder、vscode普通青年 Dreamweaver文艺青年 sublime高手和大傻子 用记事本其实，屌丝青年也可以用sublime。1.2 浏览器 浏览器是网页显示、运行的平台，常用的...
2021-11-10 20:14:40
173
原创 MySQL JDBC
1. JDBC 介绍我们之前学习MYSQL时，为了使用MYSQL服务，我们通常要使用客户端与MYSQL服务进行连接，然后才能输入SQL语句进行数据库的各种操作。客户端有命令行与图形界面2种。但是在更多的环境下，由我们人直接操作数据是很低效的，比如双11这种业务场景下，一秒中往往要在库中生成上千万甚至几亿条数据，靠人来手工操作是不现实的，只能依赖于程序进行这种高并发的操作。程序语言有多种，比如Java、Python、C/C++等，程序语言如果想执行SQL语句，也必须要先与数据库进行连接，数据库也有
2021-11-09 22:46:53
187
原创 MySQL 行转列 连接查询
1. 行转列1.1 什么是行转列正常的查询结果是这样可是我想要的结果是这样...通过SQL语句 实现这样的功能,就叫行转列1.2 示例数据准备有 id,名字,课程,成绩create table test_9( id int, name varchar(22), course varchar(22), score decimal(18,2));insert into test_9 (id,name,course,score)values(1,'小王','ja..
2021-11-08 00:09:14
513
原创 约束、表查询、常用函数
1.SQLSQL，它的全称叫Structured Query Language，结构化的查询语言。之所以出现这个东西，是为了统一/屏蔽不同数据库厂商生产的数据库产品之间的差异。SQL定义了一系列标准和规范,数据库厂商也需要按照这个规范来,当然会有一些细小的差别,相比没有规范来说,要好很多比如 项目后期由于某些原因,需要进行数据库更换,那么操作数据库的语句就都需要更改,而SQL出现,可以避免这个问题2.DDL2.1 概述DDL : Data Definition Language 数据
2021-11-04 22:17:48
151
原创 数据库基础
1. 数据库1.1 数据库的安装参考教程即可1 检测自己是否安装(安装就卸载)2 Navicart安装3 测试1.2 数据库概述 在操作系统中使用文件进行数据存储,跨平台性能要差一些,二数据库是可以解决数据跨平台问题的 数据库 : 望文知义 就是遵循一定数据格式的数据集合,可以认为是对文件系统的改进,解决了操作系统跨平台问题 只要是同一个数据库文件, 即使在Windows迁移到linux中 也是可以正常处理的1.3 数据库分类画红框的是我...
2021-11-03 20:54:04
140
原创 Java Lambda表达式 、函数式接口 、方法引用和构造器调用 、 Stream
目录1. Lambda1.1 概述1.2 为什么使用Lambda表达式1.3 和匿名内部类对比1.4 语法结构1.5 案例1.6 练习2. 函数式接口2.1 介绍2.2 特点2.3 代码实现2.3.1 无参情况2.3.2 有参情况2.4 JDK自带常用的函数式接口2.4.1Supplier 接口2.4.2Consumer 接口2.4.4 Predicate 接口3. 方法引用和构造器调用3.1对象调用成员3.2类名调用成员.
2021-11-02 21:23:08
935
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人