计算机基础
文章平均质量分 65
菜丸子
极致
展开
-
【计算机网络】地址解析协议ARP
Optional<Long> time = deviceSearchResp.getBindCardInfoDoList().stream() .map(bindCardInfoDo -> LocalDateTime.parse(bindCardInfoDo.getCreatedAt(), FULL_FORMATTER) .at...原创 2019-04-24 14:38:14 · 364 阅读 · 0 评论 -
【计算机网络】应用层
1.Event Time存在的问题比如一个1小时的滚动窗口,操作符需要知道这1小时窗口的结束条件2.watermark机制它只在Event Time情况下有意义,主要是为了处理乱序的数据首先我们要知道,watermark也是事件带来的,它就像往一个个事件组成的流中插入新的标记事件,它和咱们用于计算的事件(比如通过kafka来的)是独立的,watermark的时间产生和event的times...原创 2020-03-19 22:33:18 · 197 阅读 · 0 评论 -
【操作系统导论】并发
一 前言Spark可以通过控制RDD分区方式来减少通讯开销。所有键值对RDD都可以进行分区,Spark可以确保同一组的键出现在同一个节点上。自定义分区原创 2019-01-13 20:58:58 · 315 阅读 · 0 评论 -
【操作系统导论】虚拟化内存
一、什么是HDFSHDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。HDFS不适合用在:要求低时间延迟数据访问的应用,存储大量的小文件,多用户写入,任意修改文件。二、HDFS的原理1.hdfs数据块HDFS上的文件被划分为块大小...原创 2018-11-06 00:19:17 · 668 阅读 · 0 评论 -
【深入理解计算机系统】计算机系统漫游
1.信息就是位 + 上下文当我们写一个如下的hello.c程序时源程序时由0和1组成的比特序列,8个比特是一个字节,每个字节表示程序中的某些文本字符,大部分计算机用ASCII标准表示文本字符,上面程序的ASCII码如下由上可见,每个字节都对应一个整数值,每个文本行都有一个\n符号像Hello.c这样只有ASCII字符构成的文件称为文本文件,其它的都叫二进制文件系统中所有的信息,都是由一串比特表示的,在不同上下文中,一个同样的字节序列由可能由不同的含义2.程序被其它程序翻译成不同的格式为了在原创 2020-06-09 22:03:04 · 162 阅读 · 0 评论 -
【计算机基础】硬盘
hive是基于hadoop的HDFS之上的数据仓库,本质就是一个数据库数据仓库:hive不可更新。数据仓库要有数据源。ETL抽取,转换,装载hive中的数据其实就是hdfs中的文件。hive的元数据hive将元数据放在数据库中,默认值derby,我们一般改成mysql。hql的执行过程解析器:词法分析编译器:生成HQL的执行计划优化器:生成最佳执行计划web控制台 只能查...原创 2019-01-24 23:45:17 · 269 阅读 · 0 评论 -
【计算机基础】内存
1.虚拟内存的作用按需使用物理内存物理容易容易被破坏导致系统奔溃防止进程被其它进程内存干扰虚拟内存可以完全自动的运行,不需要在应用程序里做什么工作虚拟内存会转化为适当的物理内存,转化单元叫MMUCPU中含有一个被称为内存管理单元(Memory Management Unit, MMU)的硬件,它的功能是将虚拟地址转换为物理地址。MMU需要借助存放在内存中的页表来动态翻译虚拟地址,该...原创 2020-01-29 11:07:24 · 682 阅读 · 0 评论 -
【计算机基础】Linux操作系统
import org.jboss.netty.channel.ChannelHandlerContext;接口 ChannelHandlerContext 代表 ChannelHandler 和ChannelPipeline 之间的关联,并在 ChannelHandler 添加到 ChannelPipeline 时创建一个实例。ChannelHandlerContext 的主要功能是管理通过同...原创 2019-08-24 22:26:36 · 321 阅读 · 0 评论 -
【计算机基础】时间复杂度/空间复杂度
1.时间复杂度(1)时间频度 一个算法执行所耗费的时间,从理论上是不能算出来的,必须上机运行测试才能知道。一个算法花费的时间与算法中语句的执行次数成正比例,哪个算法中语句执行次数多,它花费时间就多。一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。(算法中的基本操作一般指算法中最深层循环内的语句)(2)时间复杂度 在刚才提到的时间频度中,n称为问题的规模,当n不断变化时,时间频度...转载 2017-08-13 11:56:57 · 1212 阅读 · 0 评论 -
【计算机基础】一致性hash
1.判断hash算法好坏的四个定义:⑴平衡性:哈希结果分布到所有缓存中,使缓存空间得到充分利用。⑵单调性:如果已经有一些内容通过hash分布到缓冲中,当系统加入新的缓冲区,可以保证原有已分配内容映射到新的缓冲中去,而不是旧的缓冲集合的其他缓冲区。⑶分散性:不同的终端看到的缓冲区范围不一样,倒是哈希结果不一致,相同的结果被不同的终端映射到不同的缓冲区,好的哈希算法应降低分散性。⑷负载...转载 2017-07-18 18:08:58 · 291 阅读 · 0 评论 -
【数据结构】hash冲突解决方案
哈希计算就是努力的把比较大的数据存放到相对较小的空间中例如:6存放到长度只有5的数组中呢。按照取模法,计算6%5,结果是1,那么就把6放到数组下标是1的位置。那么,7就应该放到2这个位置。到此位置,哈斯冲突还没有出现。这时,有个数据是11,按照取模法,11%5=1,也等于1。那么原来数组下标是1的地方已经有数了,是6。这时又计算出1这个位置,那么数组1这个位置,就必须储存两个数了。这时,就...原创 2017-02-27 10:00:48 · 1794 阅读 · 2 评论 -
【操作系统导论】持久性
一 概述CAP原则又称CAP定理,指的是在一个分布式系统中,一致性(Consistency)、可用性(Availability)、分区容忍性(Partition tolerance)。CAP 原则指的是,这三个要素最多只能同时实现两点,不可能三者兼顾。一致性(C):在分布式系统中的所有数据备份,在同一时刻是否同样的值。(等同于所有节点访问同一份最新的数据副本)可用性(A):在集群中一部分节...原创 2019-07-02 18:15:49 · 745 阅读 · 0 评论