- 博客(55)
- 收藏
- 关注
RSS订阅转载 CPU处理器主要技术指标
显然，当外频不变时，提高倍频，CPU 主频也就提高了。Cache 中的数据实际上是内存中的一小部分，计算机工作时，CPU 需要重复读取同样的数据块，如果每次都从内存中读取，由于 CPU 速度远高于内存速度，则内存成为计算机工作的瓶颈，Cache 正是在这种情况下出现的。CPU 的主频表示在 CPU 内数字脉冲信号震荡的速度，主频和实际的运算速度存在一定的关系，但目前还没有一个确定的公式能够定量两者的数值关系，因为 CPU 的运算速度还与 CPU 的流水线数目、缓存大小、指令集、CPU 的位数等指标有关。
2024-01-24 09:59:43
61
转载 redis 参数优化 redis的优化操作
当redis触发AOF重写的时候，如果需要比较大的IO处理，有可能会阻塞aof正常的写入磁盘，导致redis也被阻塞。active-defrag-cycle-max 75：**表示自动清理过程所用 CPU 时间的比例不高于 75%，一旦超过，就停止清理，从而避免在清理时，大量的内存拷贝阻塞 Redis，导致响应延迟升高。当从节点接收和加载RDB文件时，从节点是阻塞状态，那么主节点的命令都需要放到复制缓冲区中，如果从节点处理速度比较慢的话，有可能会造成复制缓冲区溢出，主从节点断连，导致全量同步失败。
2023-06-22 09:18:44
501
转载 图文并茂讲VLAN，让你看一遍就理解VLAN
vlan的应用在网络项目中是非常广泛的，基本上大部分的项目都需要划分vlan，前几天我们讲到vlan的配置，有朋友就提到有没有更基础一些的内容，今天我们就从基础的vlan的知识开始，了解vlan的划分原理。一、为什么需要VLAN1、什么是VLAN?VLAN(Virtual LAN)，翻译成中文是“虚拟局域网”。LAN可以是由少数几台家用计算机构成的网络，也可以是数以百计的计算机构成的企业网络。VLAN所指的LAN特指使用路由器分割的网络——也就是广播域。简单来说，同一个VLAN中的用户间通信就和在一
2022-02-09 15:49:53
13913
3
转载 两层网络、三层网络的理解
对于搞IT的同行而言，大部分人都不会直接和网络打交道，因此除非从事网络开发，否则对网络内部机制也不会太关心，但是明白网络数据是怎么走的，这对每个IT工程师应该是很重要的基础知识。网络数据包如何在网络上游荡，长久以来也困扰了我很长时间，现在把这部分内容总结分享一下。说起网络，大家不约而同会想起大学课本上那个臭名昭著的ISO七层模型，但是ISO模型只是提供了一个参考，并不是具体实现，目前我们使用最多的实现其实是TCP/IP协议族。但是对于TCP/IP，除了表示层和会话层没有体现，其它几层和ISO基本是对应的，
2022-02-09 10:10:41
4340
2
转载 通信网络基础知识
什么是通信网络我们周围无时无刻不存在一张网，如电话网、电报网、电视网、计算机网络等；即使我们身体内部也存在许许多多的网络系统，如神经系统、消化系统等。最为典型的代表即计算机网络，它是计算机技术与通信技术两个领域的结合。计算机网络的演进60 基于主机架构的低速串行链路，X.25和IBM的SNA计算机网络的主要特性资源共享信息传输与集中处理负载均衡与分布处理综合信息服务局域网、城域网、广域网定义LAN（Local Area Network）通常指几千米以内的，可以通过某种介质互联
2022-02-08 15:36:31
1484
转载 【微前端】qiankun 到底是个什么鬼
原文链接：https://www.jianshu.com/p/33b50627ee3dqiankun 到底做了什么首先，qiankun 并不是单一个框架，它在 single-spa 基础上添加更多的功能。以下是 qiankun 提供的特性：实现了子应用的加载，在原有 single-spa 的 JS Entry 基础上再提供了 HTML Entry样式和 JS 隔离更多的生命周期：beforeMount, afterMount, beforeUnmount, afterUnmount子应用预加载
2021-10-21 16:27:48
1184
转载 【微前端】single-spa 到底是个什么鬼
前言说起微前端框架，很多人第一反应就是 single-spa。但是再问深入一点：它是干嘛的，它有什么用，可能就回答不出来了。一方面没多少人研究和使用微前端。可能还没来得及用微前端扩展项目，公司就已经倒闭了。另一方面是中文博客对微前端的研究少之又少，很多文章只是简单翻译一下官方文档，读几个API，放个官方的 Demo 就完事了。很少有深入研究到底 single-spa 是怎么一回事的。还有一方面是 single-spa 的文档非常难看懂，和 Redux 文档一样喜欢造概念。讲一个东西的时候，总是把别的
2021-10-19 17:16:08
2337
转载 超融合和虚拟化区别
服务器虚拟化是bai整个超融合架构的一个必要的组成du部分。首先，什么是超融合架构？超融合基础架构（daoHyper-Converged Infrastructure，或简称“HCI”）也被称为超融合架构，是指在同一套单元设备（x86服务器）中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池。其次，了解下超融合架构的特点。1.符
2020-07-31 09:51:43
18856
转载 openstack简单理解
一、它是什么，能干什么想认识一个事物，必须先弄明白它是什么，能干什么。首先说一下，openstack是一个搭建云平台的一个解决方案，说他不是个软件，但是我觉得说是一个软件，能够让大家认识更清晰些。openstack能干什么，可以搭建公有云，私有云，企业云。（顺便说一下，企业云将是openstack的用武之地）二、openstack组成上面是一个整体的认识，想进一步了解openstack，就必须了解它的组成。其实这有点像研究生物。一般生物都有眼睛，鼻子，嘴等。那么openstack，都有什么。open
2020-07-31 09:47:07
760
转载 restful api
前言在以前，一个网站的完成总是“all in one”，页面，数据，渲染全部在服务端完成，这样做的最大的弊端是后期维护，扩展极其痛苦，开发人员必须同时具备前后端知识。于是慢慢的后来兴起了前后端分离的思想：后端负责数据编造,而前端则负责数据渲染，前端静态页面调用指定api获取到有固定格式的数据，再将数据展示出来，这样呈现给用户的就是一个”动态“的过程，而关于api这部分的设计则成了一个问题。如何设计出一个便于理解，容易使用的api则成了一个问题。而所谓的restful就是用来规范我们的api的一种约束。
2020-07-21 10:58:07
149
翻译 PMDK
PMDKPMDK（Persistent Memory Development Kit）持久存储器开发套件（PMDK），以前称为NVML，是一个不断增长的库和工具集合。 这些库在Linux和Windows上都进行了调整和验证，它们建立在这些操作系统的DAX功能（Direct Access的缩写）上，该功能允许应用程序将永久内存作为内存映射文件进行访问，如SNIA NVM编程模型所述。PMDK的源代码位于此GitHub存储库中。https://github.com/pmem/pmdk/以下库是PMDK的
2020-06-02 15:50:50
1928
翻译 hadoop集中式缓存管理
简介hdfs中的集中式缓存管理是一种显式缓存机制，允许用户指定hdfs要缓存的路径。namenode将与磁盘上具有所需块的数据节点通信，并指示它们将块缓存在堆外缓存中。hdfs中的集中式缓存管理具有许多显著的优点。显式固定可防止经常使用的数据从内存中逐出。当工作集的大小超过主内存的大小时，这一点尤其重要，这在许多hdfs工作负载中是常见的。由于datanode缓存由namenode管理，...
2019-12-19 09:15:24
393
转载 LSM-Tree 与 RocksDB
冥冥之中，接触到了不同于关系数据库的NoSQL Key-Value存储引擎RocksDB，懵懵懂懂、充满好奇，google一点，满眼皆是LSM-Tree，头晕眼花、若即若离，便有了这篇文章，一起与大家分享这趟探险之旅。LSM-Tree(Log-Structured-Merge-Tree)LSM从命名上看，容易望文生义成一个具体的数据结构，一个tree。但LSM并不是一个具体的数据结构，也不是一...
2019-10-08 11:06:53
1301
转载 RocksDB简介
RocksDB是FaceBook起初作为实验性质开发的，旨在充分实现快存上存储数据的服务能力。由Facebook的Dhruba Borthakur于2012年4月创建的LevelDB的分支，最初的目标是提高服务工作负载的性能，最大限度的发挥闪存和RAM的高度率读写性能。Key和value是任意大小的字节流支持原子的读和写。除此外，RocksDB深度支持各种配置，可以在不同的生产环境（纯内存、Fl...
2019-10-07 18:27:26
27581
3
转载 select、poll、epoll之间的区别总结
select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用...
2019-08-15 09:12:51
152
转载 Kqueue与epoll机制
首先介绍阻塞与非阻塞：阻塞是个什么概念呢？比如某个时候你在等快递，但是你不知道快递什么时候过来，而且你没有别的事可以干（或者说接下来的事要等快递来了才能做）；那么你可以去睡觉了，因为你知道快递把货送来时一定会给你打个电话（假定一定能叫醒你）。非阻塞忙轮询。接着上面等快递的例子，如果用忙轮询的方法，那么你需要知道快递员的手机号，然后每分钟给他挂个电话：“你到了没？”很明显一般人不会用第二种做法...
2019-08-15 09:05:10
851
转载 Intel Optane DC Persistent Memory Module (PMM)持久内存
英特尔已经公开讨论了一年多的Optane DC Persistent Memory Module（PMM），体现了一种新的以数据为中心的体系结构，在这个体系结构中，PMM位于DRAM和Optane DC SSD之间，再往下依次是速度较慢的SSD和HDD介质以及存档级别磁带介质。持久内存的目标一直是将更多的数据移动到更靠近CPU的位置，从而获得DRAM级别的低延迟以及存储级别的持久性和容量。在与硬件...
2019-07-02 19:16:06
11561
转载 跟小白介绍集线器、交换机与路由器的区别
（注：本文旨在简单的说明集线器、交换机与路由器的区别，因而忽略了很多细节。三者实际的发展过程和工作原理并非文中所写的这么简单。如果你看完本文能大概了解到三者的异同，本文的目的就达到了。至于更具体的技术问题，欢迎在留言中探讨。）以下为正文：我相信我们都玩过一款特别火的游戏：帝国时代。小时候想要玩帝国时代，需要到软件城购买盗版光盘安装（大概3块钱一张左右的样子，当时已经觉得很便宜了，谁想到现在有了...
2019-06-28 15:24:35
855
转载 OSI七层协议大白话解读
互联网的本质就是一系列的网络协议，这个协议就叫OSI协议（一系列协议），按照功能不同，分工不同，人为的分层七层。实际上这个七层是不存在的。没有这七层的概念，只是人为的划分而已。区分出来的目的只是让你明白哪一层是干什么用的。每一层都运行不同的协议。协议是干什么的，协议就是标准。实际上还有人把它划成五层、四层。七层划分为：应用层、表示层、会话层、传输层、网络层、数据链路层、物理层。五层划分为：...
2019-06-04 11:07:53
551
转载 主流分布式存储技术的对比分析与应用
摘 要：随着数字化转型的深入，海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，满足海量数据的存储需求，市场上出现了分布式存储技术。分布式存储系统，通常包括主控服务器、存储服务器，以及多个客户端组成。其本质是将大量的文件，均匀分布到多个存储服务器上。当前，分布式存储有多种实现技术，如HD...
2019-06-03 17:03:01
33742
2
转载 不是技术也能看懂云计算，大数据，人工智能
我今天要讲这三个话题，一个是云计算，一个大数据，一个人工智能，我为什么要讲这三个东西呢？因为这三个东西现在非常非常的火，它们之间好像互相有关系，一般谈云计算的时候也会提到大数据，谈人工智能的时候也会提大数据，谈人工智能的时候也会提云计算。所以说感觉他们又相辅相成不可分割，如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系，所以有必要解释一下。1. 云计算最初是实现资源管理的灵活性我们首...
2019-04-25 10:30:32
788
原创 Hadoop与Spark比较
https://www.zhihu.com/question/26568496/answer/41608400?utm_source=qq&utm_medium=social&utm_oi=795263310156161024
2019-04-12 10:30:09
198
转载 计算机缓存Cache以及Cache Line详解
1.计算机存储体系简介存储器是分层次的，离CPU越近的存储器，速度越快，每字节的成本越高，同时容量也因此越小。寄存器速度最快，离CPU最近，成本最高，所以个数容量有限，其次是高速缓存（缓存也是分级，有L1，L2等缓存），再次是主存（普通内存），再次是本地磁盘。寄存器的速度最快，可以在一个时钟周期内访问，其次是高速缓存，可以在几个时钟周期内访问，普通内存可以在几十个或几百个时钟周期内访问。...
2019-04-11 16:06:11
5015
转载 spark内存管理
一、概述Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、...
2019-03-21 11:31:05
283
转载 ceph fileStore与 blueStore逻辑架构对比
ceph 消息处理逻辑架构图ceph后端支持多种存储引擎，以插件化的形式来进行管理使用，目前支持filestore，kvstore，memstore以及bluestore，目前默认使用的是filestore，但是目前bluestore也可以上生产。1）Firestore存在的问题是：在写数据前需要先写journal，会有一倍的写放大；若是另外配备SSD盘给journal使用又增加额外的...
2019-02-26 11:26:54
8012
转载 Linux内存中的Cache真的能被回收么？
在Linux系统中，我们经常用free命令来查看系统内存的使用状态。在一个RHEL6的系统上，free命令的显示内容大概是这样一个状态：[root@tencent64 ~]# free total used free shared buffers cachedMem: 132256952 72571772 ...
2019-02-26 09:35:29
431
原创 Ceph配置参数和命令解析
参考资料：https://blog.csdn.net/for_tech/article/details/72123223#t20http://docs.ceph.com/docs/master/rados/configuration/
2019-02-13 18:20:29
933
原创 linux常用命令之sar
默认监控: sar 5 5 // CPU和IOWAIT统计状态(1) sar -b 5 5 // IO传送速率(2) sar -B 5 5 // 页交换速率(3) sar -c 5 5 // 进程创建的速率(4) sar -d 5 5 // 块设备的活跃信息(5) sar -n DEV 5 5 // 网路设备的状态信...
2019-01-30 09:26:00
1384
转载 如何根据configure.ac和Makefile.am为开源代码产生当前平台的Makefile
Configure，Makefile.am, Makefile.in, Makefile文件之间关系//根据configure.in和Makefile.am生成makefile的步骤，基于UBUNTU 12.041.autoscan （可选）2.aclocal3.autoconf4.autoheader（可选）5.libtoolize --automake --copy --debu...
2019-01-28 18:11:08
253
转载 Ceph集群安装部署
不管你是想为云平台提供Ceph 对象存储和/或 Ceph 块设备，还是想部署一个 Ceph 文件系统或者把 Ceph 作为他用，所有 Ceph 存储集群的部署都始于部署一个个 Ceph 节点、网络和 Ceph 存储集群。 Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ...
2019-01-28 11:16:06
1872
转载 Ceph性能测试
参考文章：https://www.cnblogs.com/Alysa-lrr/archive/2016/11/03/6027194.html
2019-01-28 11:14:45
559
转载 Spark数据本地化
1.Spark数据的本地化：移动计算，而不是移动数据2.Spark中的数据本地化级别：TaskSetManager 的 Locality Levels 分为以下五个级别：PROCESS_LOCALNODE_LOCALNO_PREFRACK_LOCALANYPROCESS_LOCAL 进程本地化：task要计算的数据在同一个Executor中NODE_LOCAL 节点本...
2019-01-25 11:17:34
358
转载 Ceph IO流程及数据分布
正常IO流程图步骤：client 创建cluster handler。client 读取配置文件。client 连接上monitor，获取集群map信息。client 读写io 根据crushmap 算法请求对应的主osd数据节点。主osd数据节点同时写入另外两个副本节点数据。等待主节点以及另外两个副本节点写完数据状态。主节点及副本节点写入状态都成功后，返回给client，io...
2019-01-22 17:42:01
715
转载 三种存储类型和三种存储方式
三种存储方式：DAS、SAN、NAS三种存储类型：块存储、文件存储、对象存储块存储和文件存储是我们比较熟悉的两种主流的存储类型，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。本质是一样的，底层都是块存储，只是在对外接口上表现不一致，分别应用于不同的业务...
2019-01-22 17:07:39
89055
4
转载 Ceph基础知识和基本架构介绍
Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储...
2019-01-22 15:51:34
2280
1
原创 Hadoop的shuffle过程简介
以wordcount为例，假设有5个map和3个reduce：map阶段1、在map task执行时，它的输入数据来源于HDFS的block，当然在MapReduce概念中，map task只读取split。Split与block的对应关系可能是多对一，默认是一对一。2、在经过mapper的运行后，我们得知mapper的输出是这样一个key/value对： key是“hello”， val...
2018-12-29 16:24:32
4118
转载 redis-benchmark
Redis有多快?Redis 自带了一个叫 redis-benchmark 的工具来模拟 N 个客户端同时发出 M 个请求。 （类似于 Apache ab 程序）。你可以使用 redis-benchmark -h 来查看基准参数。以下参数被支持：Usage: redis-benchmark [-h ] [-p ] [-c ] [-n <requests]> [-k ]####...
2018-12-26 10:27:50
315
原创 spark-shell数据库命令
spark-shellscala> spark.sql(s"show databases").show() //查看数据库scala> spark.sql(s"use tpcds24").show() //使用数据库tpcds24scala> spark.sql(s"describe call_center").show() //查看表call_centersca...
2018-12-19 16:53:23
1411
1
原创 spark和hadoop运行中的几个问题
1、HADOOP无法加载本地库WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable解决：增加调试信息：export HADOOP_ROOT_LOGGER=DEBUG,console重新执行...
2018-12-13 11:01:49
952
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人