码放南山

原创 数据仓库，数据集市，数据湖

目录一、数据仓库和数据集市的概念二、数据集市的特点三、数据仓库与数据集市的区别四、数据湖的出现出现的原因：数据湖的优点：数据湖架构显著的特点：五、数据仓库和数据湖对比一、数据仓库和数据集市的概念 数据仓库：是一个集成的面向主题的数据集合，设计的目的是支持DSS（决策支持系统）的功能，在数据仓库里，每个数据单元都和特定的时间相关。数...

转载 干货：解码OneData，阿里的数仓之路。

目录一、起因二、背景1）数据标准不统一2）服务业务能力3）计算存储成本4）研发成本三、他山之石——行业内是如何做的？四、阿里的数仓模型体系要如何构建？第一阶段：第二阶段：第三阶段：落地实现A）数据规范定义B）数据模型架构C）研发流程和工具落地实现实施效果一、起因据IDC报告，预计到2020年全球数据总量将超过40ZB(相当于4...

原创 MyBatis-Plus框架学习——概述及上手

目录一、MyBatis-Plus简介二、MyBatis-Plus上手1、准备工作（1）数据库建表（2）新建SpringBoot项目（3）导入Mybatisplus的依赖（4） yml配置文件2、正式开始项目结构如下（1）创建实体类（2）创建Mapper接口（3）创建测试类（4）启动类启动测试类效果如下：一、MyBatis-Plus简介国产的开源框架，基于MyBatis核心功能是简化MyBatis的开发，提高效率二、MyBatis-Plu

原创 Redis数据结构及对应使用场景，看一次就整明白了

目录Redis基础数据结构有哪些？一、String（字符串）1、应用场景：2、字符串（String）常用的命令：二、list(列表)1、应用场景：2、list操作的常用命令：三、hash （字典）1、应用场景：2、hash常用的操作命令：四、set(集合)1、应用场景：2、set的常用命令：五、zset(有序集合)1、应用场景：2、zset有序集合的常用操作命令： String list hash set z.

原创 Java集合总结图

原创 MySQL数据库——主从复制

目录一、主从复制的概念二、主从复制的原理1、主节点 binary log dump 线程2、从节点I/O线程3、从节点SQL线程三、主从复制的用途1、读写分离2、 数据实时备份，当系统中某个节点发生故障时，可以方便的故障切换3、高可用HA4、架构扩展四、主从复制的形式1、一主一从2、一主多从3、多主一从 （从5.7开始支持）4、双主复制5、级联复制五、主从复制的模式1、异步模式2、半同步模式3、全同步模式六、复制类型...

原创 十、临界资源和临界区

一、临界资源在一段时间内只允许一个进程访问的资源称为临界资源（互斥共享）。硬件资源如：打印机、磁带机。软件资源如栈、变量、表格。二、临界区每个进程中访问临界资源的那段代码称为临界区。三、访问的四个机制1、空闲让行2、忙则等待3、有限等待---避免死等4、让权等待---避免忙等...

原创 九、通信机制

原创 八、线程的概念

1、线程是进程中能够并发执行的实体，是进程的组成部分。2、多线程操作系统中，进程只是拥有资源的基本单位，而不再是一个可执行的实体，每个线程都是一个可执行的实体，是CPU调度和分配的基本单位。3、线程比进程更小，基本上不拥有系统资源，是花费开销最小的实体。4、线程具有以下属性：（1）轻型实体——线程中的实体基本上不拥有系统资源，只是有一点必不可少的，能保证其独立运行的资源。（2）独立调度和分派的基本单位（3）可并发执行（4）共享进程资源5、进程和线程的比较 进程.

原创 六、程序的概念和执行方式

一、程序的概念程序是指令的有序概念，它是一个静态的概念。二、程序的执行方式1、顺序执行特征：顺序性、封闭性、可再现性2、并发执行特征：间断性、失去封闭性、不可再现性

原创 五、特权指令和非特权指令

一、特权指令特权指令是在系统态时运行的指令，是关系到全局的指令。二、非特权指令非特权指令是在用户态运行的指令，一般应用程序所使用的都是非特权指令。当应用程序中需要操作系统提供服务如请求I/O资源或执行I/O操作时，应用程序必须使用系统调用命令。执行：用户态--->系统态完成：系统态--->用户态...

原创 四、操作系统的功能

原创 三、操作系统的类型

原创 五、关系模型

原创 四、三级模式/两级映像

三级模式/两级映像外模式（子模式或用户模式）：局部逻辑结构 |逻辑：外模式/模式映像——模式改变，外模式不变 |模式（逻辑或概念模式）：全局逻辑结构 |物理：模式/内模式映像——内模式改变，模式不变 |内模式（存储）:存储结构...

原创 三、数据模型

一、数据模型的三大组成1、数据结构2、数据操作3、完整性约束二、数据模型的分类1、概念模型（1）实体：客观存在并且可以区分的具体事务或者抽象概念。如：一个学生，一个操作流程等。（2）属性：实体的特征（3）域：属性的取值范围。如性别属性的属性值只能为男或女。（4）实体集：所有属性名完全相同的实体集合。如，学生实体集 (5) 实体型：实体集的名称及其所有属性名的集合称为实体型。如：学生（学号，姓名，性别，所在系）（6）码：能唯一区分一个实体的属性或属性集。（7）.

原创 二、数据管理技术的发展

数据管理技术的发展1、人工管理阶段（无独立性）特点：数据不保存、应用程序管理数据、数据主要面向应用2、文件管理阶段（共享性差，冗余度高）特点：数据可以放在文件中、通过文件系统管理数据、程序和数据有了一定的独立性3、数据库系统阶段（共享性好，冗余度低但不为零，数据结构化，独立性高）特点：数据扩充方便，数据由数据管理系统统一管理和控制。...

原创 一、数据库的基本概念

一、数据库数据库是长期存储在计算机内的，有组织，可共享的数据集合。二、数据库管理系统（DBMS）数据库管理系统的目的是数据共享。1、数据定义（DDL）功能用户可以通过数据定义语言对数据库的对象进行定义。如：创建（create）、删除（drop）、修改（alter）表。2、数据操纵（DML）功能用户可以通过数据操纵语言对数据库中的数据进行操作。如：增加（insert）、删除（delete）、修改（update）、查询（select）数据。3、完整性约束...

原创 排序算法————直接插入排序

直接插入排序原理在每进行一趟排序期间，选取待排序列的第一个元素为关键字，按照其关键字的数值大小插入到已经排好的有序序列的适当位置，直至插入完成。执行流程原始序列：1、取出51，一个数是有序的，所以51是有序序列。2、插入35。35<51,51向后移动一个位置3、插入60。60>51，所以不需要移动，直接插入到51的后面4、插入88。不...

原创 排序算法————归并排序

归并排序原理将两个或两个以上的有序表组合成一个新的有序表。归并排序举例原始序列：35 22 65 84 73 90 561、将原始序列看成7个子序列，则子序列有序。子序列1：35子序列2：22子序列3：65子序列4：84子序列5：73子序列6：90子序列7：56两两合并，形成若干有序二元组：｛22，35｝，｛65，84｝，｛...

原创 排序算法————堆排序

基本原理堆可以看成一颗完全二叉树，这课完全二叉树的任何一个非叶节点的值都大于（或不小于）其左右孩子结点的值。大顶堆：堆顶的元素值最大，并且每棵子树都是一个大顶堆。（降序）小堆顶：堆顶的元素值最小，并且每棵子树都是一个小顶堆。（升序）大顶堆排序步骤原始序列：49 38 65 97 76 13 2749一、建堆1、构建原始序列对应的完全二叉树...

原创 Yarn资源管理工作流程

一、Yarn的组成ResourceManager：负责处理客户端请求，监控各个节点的资源 ApplicationMaster：申请资源，分配和监控任务 NodeManager：管理自己节点的资源 Container：封装资源（磁盘，内存，CPU，网络）二、Yarn的工作流程...

原创 HDFS重点（读写流程）

一、HDFS的组成NameNode 处理读写请求SecondNamenode 帮助namenode合并元数据Datanode 存储真正的数据二、HDFS的读写流程HDFS的读流程1、客户端通过DistributeFileSystem向NameNode请求上传文件2、NameNode查看文件是否存在，倘若没则向客户端响应...

原创 MapReduce重点（Map阶段，Reduce阶段，Shuffle阶段）

一、MapReduce的工作流程1、Map阶段（1）读取hdfs上的文件，每个block启动一个maptask，按行读取一个block中的内容。（2）map函数对数据split拆分，得到数组，组成一个键值对<word,1>（3）做分区对应多个reduceTask（4）分区数据，按key分组排序（5）在map端执行小reduce，一个map中输出<key,time...

原创 Hadoop生态体系简单介绍

一、数据来源层1、结构化数据（数据库）2、半结构化数据（日志文件）3、非结构化数据（视频，PPT等）二、数据传输层1、Flume收集日志2、Sqoop数据传递3、Kafka消息队列三、数据存储层1、HDFS分布式文件存储2、HBase非关系数据库四、资源管理层Yarn资源管理五、数据计算层1、MapReduce离线计算（1）Hi...

原创 计算机组成原理————计算机相关

1、冯·诺伊曼计算机的特点有，使用单一的处理部件来完成计算、存储以及通信工作；存储空间的单元是直接寻址的；指令和数据一起以同等地位存放于存储器内，并可按地址访问；指令和数据均用二进制代码表示；指令由操作码和地址码组成，操作码用于表示操作的性质，地址码用来表示操作数在存储器中的位置；指令在存储器内按顺序存放，机器以运算器为中心，对计算进行集中的、顺序的控制，输入输出设备与存储...

原创 计算机组成原理————中断

1、多级中断中，寄存器的个数很有可能不够用，会造成覆盖上层中断的现场信息的错误。用外存保存现场信息，速度太慢。常用的方法是用堆栈保存中断的现场信息，堆栈后进先出的特点正好符合中断返回内层先返回外层后返回的要求。2、中断是指当出现需要时，CPU暂时停止当前程序的执行转而执行处理新情况的程序和执行过程。即在程序运行过程中，系统出现了一个必须由CPU立即处理的情况，此时，CPU暂时中止程序的执行转而...

原创 计算机组成原理————指令

1、指令划分为操作码和地址码字段，由二进制数字组成指令系统中采用不同寻址方式的目的主要是缩短指令长度，扩大寻址空间，提高编程灵活性。2、运算型指令的寻址与转移型指令的寻址不同点在于运算型指今寻址的是操作数，而转移性指令寻址的则是下次欲执行的指令的地址。3、零地址指令只有操作码，没有操作数。这种指令有两种情况：一是无需操作数，另一种是操作数为隐含的，默认为操作数在寄存器中，指令可直接访问...

原创 计算机组成原理————通道

经常用于大型计算机的控制方式是通道方式。通道方式，即能够根据程序控制多个外部设备并提供了DMA共享的功能，而DMA只能进行固定的数据传输操作。根据数据传送方式，通道可分成字节多路通道、选择通道和数组多路通道三种类型DMA专用通道处理器与设备（大型计算机），是通过通道通讯的，处理器与设备、处理器与通道通讯，是相同的意思。设备与设备通讯，可以不通过处理器核心、直接通过DMA控制器等进行通讯。因...

原创 计算机组成原理————总线

广义地讲，任何连接两个以上电子元器件的导线都可以称为总线。通常可分为4类。①芯片内总线。用于在集成电路芯片内部各部分的连接。②元件级总线。用于一块电路板内各元器件的连接。③内总线，又称系统总线。用于构成计算机各组成部分(CPU、内存和接口等)的连接。④外总线，又称通信总线。用计算机与外设或计算机与计算机的连接或通信。连接处理机的处理器、存储器及其他部件的总线属于内总线，按总线上所传送的内容分为数据...

原创 计算机组成原理————存储器

数据和命令存放在存储器中。存储器(Memory)是现代信息技术中用于保存信息的记忆设备。其概念很广，有很多层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器。1、存储器包括主存储器(内存)和外存储器(辅助存储器)，内存又包括RAM(随机存储内存也叫做运行时内存)和ROM（只读内存）两大类，它们都是半导体存储器。SRAM（静...

原创 计算机组成原理————寄存器

寄存器是CPU中的一个重要组成部分，它是CPU内部的临时存储单元。寄存器既可以用来存放数据和地址，也可以存放控制信息或CPU工作时的状态。在CPU中增加寄存器的数量，可以使CPU把执行程序时所需的数据尽可能地放在寄存器件中，从而减少访问内存的次数，提高其运行速度。但是，寄存器的数目也不能太多，除了增加成本外，由于寄存器地址编码增加也会相对增加指令的长度。CPU中的寄存器通常分为存放数据的寄存器、存...

原创 计算机组成原理————CPU

CPU是计算机的控制中心，主要由运算器、控制器、寄存器组和内部总线等部件组成。控制器由程序计数器、指令寄存器、指令译码器、时序产生器和操作控制器组成，它是发布命令的“决策机构”，即完成协调和指挥整个计算机系统的操作。它的主要功能有：从内存中取出一条指令.并指出下一条指令在内存中的位置；对指令进行译码或测试，并产生相应的操作控制信号，以便启动规定的动作；指挥并控制CPU、内存和输入输出设备之...

原创 Mahout与机器学习

目录MahoutMahout的特性机器学习实现机器学习的方式1、监督学习（Supervised learning）2、非监督学习（Unsupervised Learning）Mahout(象夫)Apache开源项目，主要用于创建可伸缩的机器学习算法实现了如下几个主流的机器学习算法Recommendation 推荐算法 Classification ...

原创 Kafka体系架构详细分解

基本概念Kafka 体系架构Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群。在 Kafka 中还有两个特别重要的概念—主题（Topic）与分区（Partition）。Kafka 中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到 Kafka 集群中的每一条消息都要指定一个主题），...

原创 回顾腾讯电商路：马化腾之痛可否疗愈？

疫情之下，线下商家遭遇沉重打击，“无接触经济”兴起，不少企业通过小程序和微信群，来触达用户，把产品搬到线上进行售卖。在腾讯财报发布后的电话会议上，其总裁刘炽平专门提到此事。刘炽平表示，“其中有些取得了非常不错的结果，长远来看，公司会打造更多工具，帮助商家更为高效地运营，引导用户更多地进行线上和线下的交易。”社交、游戏，是腾讯最大的两个标签，而在将近十五年的时间跨度里，电商、卖货也一直是腾讯执着...

原创 你真的知道Java代码怎么运行的吗？

java 代码运行主要流程本文主要讲解流程如下：java源文件编译为class字节码 类加载器把字节码加载到虚拟机的方法区。 运行时创建对象 方法调用，执行引擎解释为机器码 CPU执行指令 多线程切换上下文编译我们都知道，java代码是运行在Java虚拟机上的。但是java是一门面向对象的高级语言，它不仅语法非常复杂，抽象程度也非常高，并不能直接运行在计算机硬件机器上。...

原创 LAN、WAN、WLAN、VLAN的区别

原文链接 局域网（Local Area Network，LAN） 是指在某一区域内由多台计算机互联成的计算机组。一般是方圆几千米以内。局域网可以实现文件管理、应用软件共享、打印机共享、工作组内的日程安排、电子邮件和传真通信服务等功能。局域网是封闭型的，可以由办公室内的两台计算机组成，也可以由一个公司内的上千台计算机组成。 广域网 （Wide...

原创 推荐系统的性能评估（RMSE、MAE、F1 core、A/B testing、CTR和CR、ROI和QA）

目录一、线下评估（应用学术研究）1、RMSE(均方根误差)2、MAE(均方误差)------需要用户评分3、F1 score(包括recall和precision)------可以无评分信息（1）recall（2）precision4、A/B testing二、线上评估（应用于商业）1、CTR和CR2、ROI和QA一、线下评估（应用学术研究）1、RM...

原创 计算机组成原理————寄存器寻址方式大总结

常见的寻址方式有立即寻址、直接寻址、间接寻址、寄存器寻址、寄存器间接寻址、相对寻址和变址寻址等。在立即寻址方式中，操作数包含在指令中；在直接寻址方式中，操作数存放在内存单元中；在寄存器寻址方式中，操作数存放在某一寄存器中：在间接寻址方式中，指令中给出了操作数地址的地址；在相对寻址方式中，在指令地址码部分给出一个偏移量(可正可负)；在变址寻址方式中，操作数地址等于变址寄存器的内容加偏移量。...