嘻哈吼嘿呵的博客

概述数据建模的过程中，会对几百个甚至上千个字段进行命名，特别在一个团队中，经常会遇到这些问题：这时候就需要建立一个标准的、统一的命名平台，每个人不仅可以维护自己的标准命名，还可以和同事之间，企业之间共享标准命名。下面是命名标准管理系统的网址，欢迎注册使用。知了命名：www.zlmingming.cn功能介绍首页在首页可以根据关键字查询标准命名，如果在自己的库里查不到，会查询到翻译后的值。还可以看到本公司其他库里标准命名...

概述在数据仓库建设中，特别是在多个开发人员的过程中，经常会遇到以下问题：需要把数仓整个生命周期进行统一管理，基于元数据驱动的自动化、可视化的平台，实现低代码开发。功能模块开发平台主要包括以下模块：需求管理，源系统管理，数据探查，业务总线矩阵，维度建模，ETL管理，作业管理，BI应用管理，数据标准管理，元数据管理。需求管理：统一管理各部门的需求文档，定义需求文档标准格式，管理需...

概述随着数据仓库的开发，ETL作业会越来越多，怎么把这些作业有序的运行起来，就需要一个健壮的调度系统来保证数据能够准确、及时的提供给BI应用程序。调度系统设计目标调度系统架构ETL作业数据仓库的ETL作业可能不至一种，需要把各种作业再次进行封装，建立作业的标准格式，统一作业的输入参数、输出参数和参数格式，达到所有的作业调度方式一致。作业管理提供便捷的...

概述数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。数据质量维度数据质量产生的根本原因...

概述元数据通常定义为”关于数据的数据”,在数据仓库中是定义和描述DW/BI系统的结构，操作和内容的所有信息。元数据贯穿了数据仓库的整个生命周期，使用元数据驱动数据仓库的开发，使数据仓库自动化，可视化。元数据类型1.业务元数据业务元数据指从业务角度描述业务领域相关的概念、关系和规则的数据，包括业务术语和业务规则等信息。2.技术元数据技术元数据指描述系统中技术细节相关的概念、...

概述ETL是数据仓库的后台，主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。分层的作用STG层在维度建模阶段已经确定了源系统，而且对源系统进行了数据评估。STG层是根据CDC策略把各个源系统的数据抽取到数据仓库中。STG层主要是面向批处理的形式，如果是根据日志信息实时同步...

概述架构是数据仓库建设的总体规划，从整体视角描述了解决方案的高层模型，描述了各个子系统的功能以及关系，描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么，架构就是回答怎么做的问题。架构的价值数据仓库架构数据仓库的核心功能从源系统抽取数据，通过清洗、转换、标准化，将数据加载到BI平台，进而满足业务用户的数据分析和决策支持。数据仓库架构包含三个部分：数据架构、应用程序架构、底层设...

概述维度建模是一种将数据结构化的逻辑设计方法，它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三范式，以消除数据冗余为目标的设计技术。维度建模是面向分析，为了提高查询性能可以增加数据冗余，反规范化的设计技术。维度建模优点事实表事实表...

概述业务需求定义了企业的业务人员为了完成其工作，进而实现企业目标，一定要具备的东西。包括功能性需求和提供的服务。它是数据仓库的核心，从广度和深度上做好需求调研为数据仓库建设建立良好的开端。需求分类需求调研步骤1.确定调研对象由于业务人员不懂技术，它们以为需求都会得到满足。各个项目开发人员不懂业务，不熟悉整个业务场景。数据仓库团...

1、冒泡排序object BubblingSort { /** * 比较相邻元素的大小，对于每次循环，按排序的规则把最值移向数组的一端，同时循环次数依次减少 * @param args */ def main(args: Array[String]): Unit = {// val testData = new ArrayBuffer[Int]// testData += 10;testData += 101;testData += 75;testDat

一、布隆过滤器(BloomFilter)如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路，存储位置要么是磁盘，要么是内存。很多时候要么是以时间换空间，要么是以空间换时间。在响应时间要求比较严格的情况下，如果我们存在内里，那么随着集合中元素的增加，我们需要的存储空间越来越...

1、人脸识别概述 人脸验证：给定一个人脸和它对应的ID，让系统来判断这个人是否就是这个ID对应的人。如手机的人脸解锁功能、火车站的进站闸口。 人脸识别：就是随便给定一个人，然后给出这个人的相关信息。 活体检测：防止别人用你的一张照片来欺骗摄像头，检测摄像头前的是否是活人。 2、差异性验证公司内部的人脸打卡系统和人脸门禁系统如何实现？（1）第一种方案使用公司员工相片作为数据集，训练一个CNN神经网络，当输入相片到CNN时，输出对应数据库中的哪一个人。缺点 公

1、YOLO探测法滑动窗口弹测法：计算量大。卷积化的滑动窗口：不够精准，原因：一个物体可能同时存在于多个滑动窗口中。YOLO探测法设100x100的图像如下，划分成3x3的9个小格子在制作数据集时，需要对每个小格子制作对应的y标签，设y标签如下（假设只考虑一个格子中只有一个物体）：每个小格子对应8个元素，则上图最终形成的标签维度为3x3x8注意： 在对每个格子打标签时，y标签内的坐标按照以下标准：格子左上角为原点（0,0），右下角为（1,1）点。 物体的宽

test

1、 1x1卷积也称为网中网如下，输入一个 6x6 的 矩阵，过滤器是 1x1 的，则相当于每个元素简单的乘以了 2。作用池化层可以改变矩阵的大小，1x1 卷积则可以改变矩阵的深度。有些人虽然使用了 1x1 卷积核，但是却不改变输出矩阵的深度，他们的目的不是为了减少计算量，而是为了增加网络的复杂度，因为增加了一层 1x1 卷积，就相当于多了一层激活函数。2、Inception网络在设计卷积层的时候，经常会犯选择困难症，到底是用 1x1 的卷积核？还是用 3x3 的卷积核.

1、残差网络由于梯度爆炸和梯度消失的问题，导致越深的神经网络越难训练好，所以即使有足够的计算力和数据，也难以得到很深很深的优秀神经网络。残差网络：使用跳跃连接，用它来讲前面的激活值跳过中间的网络层，而直接传递到更后面的网络层去，由此来避免梯度爆炸和梯度消失。使用此种跳跃连接构建出来的网络，称之为残差网络。残差网络由一个个的残差块组成的。（1）残差块：如下两个神经网络层如果发生梯度爆炸（梯度消失），激活值会越来越大（越来越小），为了解决这种问题，可以将的公式变成，将跳到了后面的

卷积层VGG的每一个卷积层使用的都是 3x3的卷积层，步长都是1，而且都是 same层（即卷积后，通过padding，使得矩阵的大小不变）池化层每一个池化层步长都是2，并且大小为 2x2[CONV 64]x2 便是两个卷积层，每个卷积层 64 个过滤器AlexNet 被用来识别 1000分类因为有 16 个带参数的神经网络，13个卷积层，3个全连接层，池化层不被计算在内，所欲被叫做 VGG16...

网络的输入数据是彩色图像AlexNet使用的是relu函数

起初被用于10分类识别

目录1、智能视觉2、卷积运算3、边缘检测4、Padding5、卷积运算后的矩阵大小6、3D卷积7、池化层8、卷积的好处1、智能视觉图像识别目标检测风格转换：输入一张图片，输出不同风格的版本问题：神经网络的输入特征会比较大，可能会出现过拟合、对计算力的要求较高2、卷积运算假设有一张6x6x1的图片有一个卷积核（也可以叫过滤器）：过滤器的维度一般都是奇数的：如 1x1、 3x3、 5x5、 7x7用*代表卷积运算，结果将得到一个 .