- 博客(36)
- 收藏
- 关注
RSS订阅原创 操作系统（1）——计算机系统概述
第一章 计算机系统概述内容摘抄自《王道——操作系统考研复习指导》知识框架概论{特征{并发共享虚拟异步目标和功能{计算机系统资源的管理者用户与计算机系统之间的接口{命令接口程序接口GUI扩充机器发展——批处理操作系统→分时操作系统→实时操作系统→网络和分布式系统运行机制{中断和异常系统调用体系结构{大内核微内核概论\begin{cases} 特征\begin{cases} 并发\\ 共享\\ 虚拟\\ 异步 \end{cases}
2022-05-03 11:33:06
2292
原创 java集合
参考马士兵老师Java集合全套视频Java集合【1】数组，集合都是对多个数据进行存储操作的，简称为容器（PS:这里的存储指的是内存层面的存储，而不是持久化存储。）【2】数组：特点：数组一旦制定了长度，那么长度就确定了，不可以更改。数组一旦声明了类型以后，数组中只能存放这个类型的数据。数组中只能存放同一种类型的数据。【3】数组：缺点：数组长度不可以更改。删除、增加元素效率低。数组中实际元素的数量是没有办法获取的，没有提供对应的方法或者属性来获取的。数组存储：有序，可重复，对于无序的，
2021-12-23 11:29:37
480
原创 Java笔记1——Java概述与基础
一、Java概述1.JDK、JRE、JVM三者之间的关系，以及JDK、JRE包含的主要结构有哪些？JDK（Java开发工具） = JRE +Java的开发工具（包括javac.exe,java.exe,javadoc.exe）JRE（Java运行时环境）= JVM + Java核心类库2.为什么要配置path环境变量？如何配置？path环境变量是windows操作系统执行命令时索要搜寻的路径。通过配置path环境变量，我们可以使某个程序，比如javac.exe，在任意目录下都可以运行，而不用跑
2021-10-19 16:24:48
297
原创 概率论-随机变量与分布(基础概念）
1.随机变量的定义定义在样本空间上，取值于实数轴上的函数叫做随机变量。比如抛硬币的样本空间为硬币正面朝上和硬币反面朝上两种。可以用数字1代替硬币正面朝上，用0代替硬币反面朝上。2.分布函数的概念设XXX是随机遍历，xxx是任意实数，称函数F(x)=P(X≤x)(x∈R)F(x) = P(X\leq x)(x\in R)F(x)=P(X≤x)(x∈R)为随机变量XXX的分布函数，或称XXX服从分布F(X)F(X)F(X),记为XXX~F(X)F(X)F(X).3.离散型随机变量及其概率分布
2021-10-12 16:17:53
1178
原创 HTML笔记
1.HTML是什么？Hyper Text Markup Language（超文本标记语言）HTML基本结构<!DOCTYPE html>：告诉浏览器，我们使用什么规范，比如html。<head>标签：代表网页头部。<title>标签：为网页标题。<meta>描述性标签：它用来描述网站的一些信息，一般用来做SEO（搜索引擎优化）<body> </body>等成对的标签，分别叫作开放标签和闭合标签注释格
2021-07-19 10:24:53
219
原创 计算机网络自顶向下 第3章 运输层
3.1 概述和运输层服务运输层位于应用层和网络层之间。运输层的功能：该层为运行在不同主机上的应用进程提供了逻辑通信（logic communication）功能。运输层协议只工作在端系统中，在端系统中，运输层协议将来自应用进程的报文移动到网络边缘（即网络层）。逻辑通信：从应用程序的角度来看，通过逻辑通信，运行不同进程的主机好像直接相连一样；实际上，这些主机也许位于地球的两侧，通过很多路由器及多种不同类型的链路相连。应用进程使用运输层提供的逻辑通信功能彼此发送报文，而无需考虑承载这些报文的物
2021-06-20 15:08:09
547
1
原创 计算机网络自顶向下 第2章 应用层
2.1 应用层协议原理2.1.1 网络应用程序体系结构应用程序体系结构（application architecture）由应用程序研发者设计，规定了如何在各种端系统上组织该应用程序。两种主流体系架构：客户-服务器体系结构（client-server architecture，CS架构）:在CS架构中，有一个总是打开的主机称为服务器，它服务于来自许多其他称为客户的主机的请求。P2P体系结构（Peer-to-peer architecture），在P2P架构中，对位于数据中心的专用服务器有着最小
2021-06-18 17:47:00
2487
2
原创 计算机网络自顶向下 第1章 计算机网络和因特网
1.1 什么是因特网？1.1.1 具体构成描述主机（host） 或称为端系统（end System）通信链路（communication link）：由不同类型的物理媒体组成。包括同轴电缆、铜线、光纤和无线电谱等。链路的**传输速率以比特/秒（bit/s，或bps)**度量。分组交换机（packet switch）：路由器（router）：通常用于网络核心中。链路层交换机（link-layer switch）：通常用于接入网中。因特网服务提供商（Internet Service Pro
2021-06-16 17:18:52
589
2
原创 Lecture #4:How to Conduct and Write Literature Survey(I)
1.What is Literature SurverA literature survey is the process of analyzing,summarizing,organizing, and presenting novel conclusions from the results of technical review of large number of recently published scholarly articles.Purpose of Literature Surve
2021-06-04 15:12:30
368
原创 Scala语言基础
1.Scala基础知识1.1 基本数据类型和变量 基本数据类型包括Byte、Short、Int、Long、Char、Float、Double、String、Boolean。 Scala变量 从变量声明角度看，只有两种类型，val和var，对于val声明的变量，在声明时就必须初始化，并且不可变。对于var声明的变量，是可变的。声明变量的语法如下：val 变量名[:数据类型] = 初始值var 变量名[:数据类型] = 初始值 Scala提供了一种类型推断机制（Type Inference
2021-05-27 16:38:19
756
原创 数据库系统概论 第六章 关系数据理论
6.1 问题的提出一个关系模式是一个五元组R(U,D,DOM,F)R(U,D,DOM,F)R(U,D,DOM,F)。其中：RRR是关系名，是符号化的元组语义；UUU是一组属性；DDD是属性组UUU来自的域；DOMDOMDOM是属性到域的映射；FFF是属性组U上的一组数据依赖。 函数依赖是指类似于数学中的函数y=f(x)y=f(x)y=f(x)，自变量xxx确定之后，相应的函数值yyy也就唯一的确定了。 若关系中的函数依赖存在某些不好的性质，则会造成以下些问题。如：1.
2021-05-25 17:32:38
211
原创 翻译-A Simple Framework for Contrastive Learning of Visual Representations
A Simple Framework for Contrastive Learning of Visual Representations摘要这篇文章提出了SimCLR， 一种简单的、用于视觉表征对比学习的框架。作者们简化了最近刚提出的对比自监督学习算法，并且不需要特别的架构或者记忆库。为了探究是什么使得对比预测任务能够学习到有用的表征，作者们系统地研究了该框架的大部分组件。作者们展示了（1）数据增强的组件在定义高效预测任务中扮演的重要角色。（2）在表征和对比损失之间引入了一种可学习的非线性变换
2021-05-17 10:02:54
2766
原创 数据库系统概论 第五章 数据库完整性
1.实体完整性1.1 实体完整性定义 关系模型的实体完整性再CREATE TABLE中用PRIMARY KEY定义。对单属性构成的码有两种说明方法，一种是定义为列级约束条件，另一种是定义为表级约束条件。对多个属性构成的码只有一种说明方法，即定义为表级约束条件。【例】/*将Student表中的Sno属性定义为码。*/CREATE TABLE Student( Sno CHAR(8) RIMARY KEY, /*在列级定义主码*/ Sname CHAR(20) NOT NULL, Ssex C
2021-04-29 17:26:49
903
原创 数据库系统概论 第四章 数据库安全性(权限、用户、角色）
数据库的安全性是指保护数据库以防止不合法的使用所造成的数据泄露、更改或破坏。1.数据库安全性控制1.1 授权（Authorization）与回收1.1.1 GRANTGRANT语句的一般格式为 GRANT <权限>[,<权限>]... ON <对象类型> <对象名> [,<对象类型> <对象名> ]... TO <用户> [,<用户>]... [WITH GRANT OPTION]; 其语义
2021-04-29 10:45:57
2500
1
原创 数据库系统概论 第三章 关系数据库标准语言SQL
1.数据定义 关系数据库系统支持三级模式结构，其模式、外模式和内模式中的基本对象有表、视图和索引。因此SQL的数据定义功能包括模式定义、表定义、视图和索引定义。1.1 模式的定义与删除1.1.1 定义模式 在SQL中，模式定义语句如下CREATE SCHEMA <模式名> AUTHORIZATION <用户名> 如果没有指定<模式名>，那么<模式名>隐含为<用户名>【例1】 定义一个学生-课程模式S-TCREATE SCHE
2021-04-28 16:32:16
674
原创 Lecture #3:How to write an Introduction Section
1.What is an IntroductionDefinition：A beginning section which states the purpose and goals of the following writing.function:Definition and notation to understand the paper are presented here.Answer three basic questions:what is the subject about?
2021-04-09 20:56:00
608
原创 计算机网络自顶向下 第4章 网络层
4.1 网络层概述网络层作用：将分组从一台发送主机移动到一台接收主机。网络层所需的两种功能：转发：当一个分组到达路由器的一条输入链路时，路由器必须将该分组移动到适当的输出链路。路由选择：当分组从发送方流向接收方时，网络层必须决定这些分组所采用的路由或路径。计算这些路径的算法被称为路由选择算法（routing alogrithm）。连接建立：网络中还有第三种重要的网络功能，即连接建立（connection setup），某些网络层体系结构如ATM、帧中继、MPLS，要求从源到目的地沿着所选
2021-04-09 18:07:18
1701
3
原创 数据库系统概论 第二章 关系数据库
2.1 关系数据结构及形式化定义2.1.1 关系 关系模型的数据结构——关系。从用户来看，就是一张扁平的二维表。 关系模型是建立在集合代数的基础上的，这里从集合论角度给出关系数据结构的形式化定义。...
2021-03-26 16:14:15
400
原创 Lecture #2:How to Write an Abstract and aTitle
1.Abstract1.1 Structure of the AbstractEach subsection should contain 1-2 sentences,answering the following question:Background1.What issues led to this work?2.What is the environment that makes this work interesting or important?Aim1.What did
2021-03-22 17:40:58
432
原创 Lecture #1:Introduction to Scientific Paper Writing
Lecture #1:Introduction to the Definitions,Taxonomies,and Structures of Scientific Papers1.DefinitionsScientific papers are a special type of written work that have particular characteristics:Periodical: Usually published at journals and conferences th
2021-03-22 16:32:22
209
原创 数据库系统概论 第一章 绪论
1.1 数据库系统概述1.1.1 名词介绍一、数据（Data）：数据是数据库中存储的基本对象。二、数据库（DataBase，DB）：数据库是长期存储在计算机内、有组织的、可共享的大量数据的集合。数据库中的数据按一定的数据模型组织、描述和存储、具有较小的冗余度（redundancy）、较高的数据独立性（data independency）和易拓展性，并可为各种用户共享。（基本特点：永久存储、有组织、可共享）三、数据库管理系统（DataBase Management System，DBMS）
2021-03-21 19:45:18
2605
1
原创 3.DataSet API
DataSet API文章目录DataSet API一.DataSet API介绍二.DataSet API1.DataSources数据接入1）文件类数据2）集合类数据3）通用数据接口4）第三方文件系统2.DataSet 转换操作1）数据处理2）聚合操作3）多表关联4）集合操作5）排序操作3.DataSinks数据输出1）基于文件输出接口2）通用输出接口三.迭代计算1.全量迭代2.增量迭代四.广播变量与分布式缓存1.广播变量2.分布式缓存五.语义注解**1.Forwarded Fields注解**1）函
2020-10-02 17:39:36
945
原创 2.Flink编程模型
Flink编程模型内容摘自《Flink原理、实战与性能优化》文章目录Flink编程模型一.数据集类型二.Flink编程接口三.Flink程序结构四.Flink数据类型数据类型支持TypeInformation信息获取自定义TypeInformation五.批处理WordCount六.流处理的WordCount一.数据集类型 根据数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集，一种是有界数据集，另外一种是无界数据集。 1.有界数据集 有界数据
2020-09-29 10:41:00
497
原创 1.Flink简介
大数据Flink从入门到实战对课程大数据Flink从入门到实战中flink的介绍部分及《Flink原理、实战与性能优化》进行学习记录。第一讲 Flink流处理简介一.Flink是什么？Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。Flink是能够同时支持高吞吐、低延迟、高性能的分布式处理框架。Flink是德语词，表示快速灵巧。二.为什么选择Flink？ 1）流数据更真实地反映了我们的生活方式 2）传统的数据架构是基于有限数据集的 3）我们的目标：低延迟
2020-09-24 17:30:58
477
原创 第11章 流计算
11.1 流计算概述11.1.1流数据流数据：即数据以大量、快速、时变的流形式持续到达流数据具有如下特征：– 数据快速持续到达，潜在大小也许是无穷无尽的– 数据来源众多，格式复杂– 数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃， 要么被归档存储– 注重数据的整体价值，不过分关注个别数据– 数据顺序颠倒，或者不完整，系统无法控制将要处理的新到达的 数据元素的顺序11.1.2 批量计算和流计算• 对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量计算和实时计算•批量计
2020-09-24 15:14:13
1509
原创 第10章 Spark
10.1 Spark概述10.1.1 Spark简介Spark具有如下几个主要特点：•运行速度快：使用DAG执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过 Spark Shell进行交互式编程•通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算 、机器学习和图算法组件•运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也 可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassand
2020-09-23 20:38:51
1397
原创 第9章 Hadoop再探讨
第9章 Hadoop再探讨9.1Hadoop的优化与发展9.1.1Hadoop的局限与不足Hadoop1.0的核心组件（仅指MapReduce和HDFS，不包括Hadoop生态系统内的Pig、Hive、HBase等其他组件）， 主要存在以下不足：•抽象层次低，需人工编码•表达能力有限•开发者自己管理作业（Job）之间的依赖关系•难以看到程序整体逻辑•执行迭代操作效率低•资源浪费（Map和Reduce分两阶段执行）•实时性差（适合批处理，不支持实时交互式）9.1.2针对Hadoop的改进
2020-09-23 20:33:37
1032
原创 第8章 数据仓库Hive
第8章 数据仓库Hive8.1 概述8.1.1 数据仓库概述数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成 的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant ）的数据集合，用于支持管理决策。8.1.2 传统数据仓库面临的挑战（1）无法满足快速增长的海量数据存储需求（2）无法有效处理不同类型的数据（3）计算和处理能力不足8.1.3 Hive简介•Hive是一个构建于Hadoop顶层
2020-09-23 20:28:35
508
1
原创 第7章 MapReduce
第7章 MapReduce7.1 概述7.1.1 分布式并行编程MapReduce相较于传统的并行计算框架有什么优势？7.1.2 MapReduce 模型简介•MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽 象到了两个函数：Map和Reduce•编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算 •MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的 大规模数据集，会被切分成许多独立的分片（split）
2020-09-23 20:22:43
1894
原创 第6章 云数据库
6.1 云数据库概述6.1.1 云数据库概念云数据库是部署和虚拟化在云计算环境中的数据库。云数据库是在云计算的大背景 下发展起来的一种新兴的共享基础架构的方法，它极大地增强了数据库的存储能力 ，消除了人员、硬件、软件的重复配置，让软、硬件升级变得更加容易。云数据库 具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点。6.1.2 云数据库特性1.动态可扩展2.高可用性3.较低的使用代价4.易用性5.高性能6.免维护7.安全6.2 云数据库系统架构以UMP为例。6.2.1
2020-09-23 20:18:49
1022
1
原创 第5章 NoSQL数据库
第5章 NoSQL数据库5.1 NoSQL简介NoSQL是一种不同于关系数据库的数据库管理系统设计方式，是对非关系型数据库的统称。通常，NoSQL数据库具有以下几个特点：（1）灵活的可扩展性（2）灵活的数据模型（3）与云计算紧密融合5.2 NoSQL兴起的原因1.关系数据库已经无法满足Web2.0的需求。主要表现在以下几个方面：（1）无法满足海量数据的管理需求 、（2）无法满足数据高并发的需求（3）无法满足高可扩展性和高可用性的需求2.关系数据库的关键特性包括完善的事务机制和高效的
2020-09-23 20:17:19
2155
原创 第4章 分布式数据库HBase
4.1 概述HBase与传统的关系数据库的区别主要体现在以下几个方面：（1）数据类型：关系数据库采用关系模型，具有丰富的数据类型和存储方式， HBase则采用了更加简单的数据模型，它把数据存储为未经解释的字符串（2）数据操作：关系数据库中包含了丰富的操作，其中会涉及复杂的多表连接。 HBase操作则不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、 清空等，因为HBase在设计上就避免了复杂的表和表之间的关系（3）存储模式：关系数据库是基于行模式存储的。HBase是基于列存储的，每个 列族
2020-09-23 20:12:16
1565
原创 第3章 分布式文件系统HDFS
3.1 分布式文件系统3.1.1 计算机集群结构3.1.2 分布式文件系统的结构两类节点：1.主节点（Master Node） 或称为 名称节点（NameNode） 负责文件和目录的创建、删除和重命名等，同时管理着数据节点和文件块的映射关系。保存元数据（关于数据的数据）。2.从节点（Slave Node） 或称为 数据节点（DataNode） 负责数据的存储和读取。3.采用多副本存储 防止计算机集群中的节点可能发生故障，保证数据的完整性。3.1.3 分布式文件系
2020-09-23 20:09:22
2460
原创 第2章 大数据处理架构Hadoop
第2章 大数据处理架构Hadoop2.1 Hadoop的特性1.高可靠性：采用冗余数据存储方式。2.高效性：采用分布式处理和存储两大核心技术。3.高可扩展性：运行在廉价的计算机集群上。4.高容错性：冗余数据存储，自动保存多个副本。5.成本低：运行在廉价的计算机集群上。6.运行在Linux平台上。7.支持多种语言。2.2 Hadoop应用现状2.3 Hadoop生态系统Mahout: Mahout 是 Apache Software Foundation（ASF
2020-09-23 20:02:09
273
原创 第1章 大数据概述
第1章 大数据概述1.1大数据的概念（4V说法）1.数据量大（Volume）2.数据类型繁多（Variety）3.处理速度快（Velocity）4.价值密度低（Value）1.2大数据的思维方式全样而非抽样，效率而非精确，相关而非因果。1.3大数据关键技术技术层面功能数据采集利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采
2020-09-23 19:59:56
956
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人