人工智-CSDN博客

转载 CPU利用率和CPU load，什么情况代表CPU存在瓶颈

假设我们统计Load的时间段为2分钟，如果将电话分配的顺序按照：1min的用户，2min的用户，3min的用户来分配，那么我们的Load Average将会最低，采用其他顺序将会有不同的结果。CPU利用率，顾名思义就是对于CPU的使用状况，这是对一个时间段内CPU使用状况的统计，通过这个指标可以看出在某一个时间段内CPU被占用的情况，如果被占用时间很高，那么就需要考虑CPU是否已经处于超负荷运作，长期超负荷运作对于机器本身来说是一种损害，因此必须将CPU的利用率控制在一定的比例下，以保证机器的正常运作。

2024-03-10 16:44:17 61

原创 ES安全重启

如果节点的维护是短期工作的话，这一点就很烦人了，因为大型分片的再平衡需要花费相当的时间.一个集群节点重启前要先临时禁用自动分配，设置cluster.routing.allocation.enable为none，否则节点停止后当前节点的分片会自动分配到其他节点上，本节点启动后需要等其他节点RECOVERING后才会RELOCATING，也就是分片在其他节点恢复后又转移回来，浪费大量时间。但是记住es是内存数据库，而且同步到磁盘并不是同步的，所以一旦全部重启es，es数据会大量丢失掉，业务也无法正常进行。

2024-01-23 00:00:19 602

原创 Mongo集群入门

分片 (sharding) 是MongoDB用来将大型集合水平分割到不同服务器（或者副本集）上所采用的方法。不需要功能强大的大型计算机就可以存储更多的数据，处理更大的负载。本文介绍了 3 种 MongoDB 的高可用架构，Master-Slave 模式，Replica Set 模式，Sharding 模式，这也是常见的架构演进的过程，是不是有点恍惚，Redis 也是类似这种架构的演进。MongoDB Master-Slave 已经不推荐，甚至新版已经不支持这种冗余模式；

2024-01-20 21:36:49 987

原创【大模型的前世今生】从自然语言处理说起

自然语言处理（Natural Language Processing，简称NLP）被誉为人工智能皇冠上的明珠，是计算机科学和人工智能领域的一个重要方向。它主要研究人与计算机之间，使用自然语言进行有效通信的各种理论和方法。简单来说，计算机以用户的自然语言数据作为输入，在其内部通过定义的算法进行加工、计算等系列操作后（用以模拟人类对自然语言的理解），再返回用户所期望的结果，如所示。自然语言处理是一门融合语言学、计算机科学和数学于一体的科学。

2023-12-31 13:16:30 1496

原创 CPU亲和性和NUMA架构

在多核运行的机器上，每个CPU本身自己会有缓存，在缓存中存着进程使用的数据，而没有绑定CPU的话，进程可能会被操作系统调度到其他CPU上，如此CPU cache（高速缓冲存储器）命中率就低了，也就是说调到的CPU缓存区没有这类数据，要先把内存或硬盘的数据载入缓存。另外一种使用CPU绑定考虑的是将关键的进程隔离开，对于部分实时进程调度优先级提高，可以将其绑定到一个指定CPU核上，可以保证实时进程的调度，也可以避免其他CPU上进程被该实时进程干扰。NUMA出现之前，所有CPU对内存的访问都要通过北桥来完成。

2023-12-26 23:48:36 1787 1

原创 TCP连接的状态详解以及故障排查

linux查看tcp的状态命令：1）、netstat -nat 查看TCP各个状态的数量2）、lsof -i:port 可以检测到打开套接字的状况3)、 sar -n SOCK 查看tcp创建的连接数4)、tcpdump -iany tcp port 9000 对tcp端口为9000的进行抓包5)、tcpdump dst port 9000 -w dump9000.pcap 对tcp目标端口为9000的进行抓包保存pcap文件wireshark分析。

2023-12-06 00:10:37 600

转载【大数据】Grafana整合ElasticSearch数据源绘制Dashboard展示

1> 上图中index name为单一索引，按天生成，例如：索引名为：es-gateway-log-2022-03-15，所以配置时，index name配置为 [es-gateway-log-]YYYY.MM.DD，Pattern选择的值为Daily，若索引为按月生成，则index name配置为 [es-gateway-log-]YYYY.MM，Pattern选择的值为Monthly。例如：计算在一定时间段内，服务处理请求的成功率和失败率(这里以successFlag字段作为筛选条件)

2023-11-25 00:14:40 1679

转载【大数据】开源日志收集选型

企业无论是已经使用了开源日志收集工具，还是准备选择一款或多款工具，都有必要了解日志收集工具的关键要求。这些要求包括：高数据吞吐量、可靠性、可扩展性、灵活性、安全性以及资源（CPU和内存）消耗等。本文讨论了市面上流行的几款日志收集工具（包括 Logstash、Fluentd、Fluent Bit 和 Vector）及其主要特点。

2023-11-25 00:07:22 149

原创【机器学习】平滑滤波

平滑滤波，顾名思义就是对信号进行处理使之整体显得更加平滑，降低噪声影响，提高信号质量，它常见于数字信号处理和图像处理，一般意义上的数字信号多体现于一维数据，图像信号多体现于二维数据。均值滤波、中值滤波、高斯滤波是三种常见的平滑滤波方法，其中均值滤波和高斯滤波是线性技术，中值滤波是非线性技术。它们实现的基本原理是基本一致的，指定一个滑动窗口，计算其中的均值、中值、卷积值输出到当前位置。均值滤波、高斯滤波对高斯噪声表现较好，但对椒盐噪声表现较差；中值滤波则对椒盐噪声表现较好，对高斯噪声表现较差。

2023-11-24 23:52:29 1101

原创高性能计算HPC所面临的问题

能源动力领域关注高性能计算主要关注其能效和功耗等问题，也就是在高性能计算（High-Performance Computing, HPC）领域中，所谓的"电力墙"（Power Wall），电力墙是一个描述功耗与性能之间限制的术语。当多个处理器读写同一块内存时，必须通过某种机制（例如，缓存一致性协议）来保证所有处理器看到的是一致的数据，这通常会带来额外的开销。即使一个程序的大部分是可并行的，只要有一小部分是串行的，这个串行部分就会成为性能提升的瓶颈。其中 � 是程序可并行化的比例， � 是处理器的数量。

2023-11-24 21:50:16 415

原创 Linux 文件类信息统计指令(awk、sort、wc -l)

cat file |grep -o word |wc -l 统计file文件中word这个关键字出现的个数 cat file |grep word |wc -l 统计file文件中word这个关键字出现的行数。

2023-11-22 00:05:11 1251

原创【高性能计算】CUDA，OpenCL，FPGA 加速，MPI

OpenCL（Open Computing Language）是一种的GPU加速技术，由Khronos Group开发。OpenCL允许开发人员在不同的硬件平台上编写并行计算应用程序。OpenCL使用C语言的子集来编写应用程序，并提供了一组API，可以访问GPU硬件，包括GPU内存，OpenCL核心和OpenCL函数库。OpenCL支持多种硬件平台，包括NVIDIA，AMD和Intel GPU，以及CPU和FPGA。OpenCL可以加速一些计算密集型的应用程序，例如和密码学。

2023-11-21 23:55:08 798

转载「项目管理」项目管理43210

项目监控的对象：目标、进度、风险、关键资源、质量、团队氛围等。项目监控不应只关注项目“硬”的方面（交付件、项目任务进展、质量状况、资源投入、风险等），忽视项目“软”的方面（团队氛围、与周边的关系等）。项目目标，是项目目的和使命的具体化，是实施项目要达成的期望结果，即项目所能交付的成果或服务，包含经营、成本、进度、技术和质量等目标。我们的团队定义是：一定数量的技能互补的人群，对一个共同的目的，绩效目标及方法做出承诺并彼此负责。组织层面：公司管理的目标是生存、发展、获利，经营管理是实现该目标的重要手段；

2023-11-17 00:33:03 198

转载 Linux资源管理之cgroups简介

本文首先介绍了 cgroups 在内核中的实现方式，然后介绍了 cgroups 如何通过 VFS 把相关的功能暴露给用户，然后简单介绍了 cgroups 的使用方法，最后通过分析了几个 cgroups 在实践中的例子，进一步展示了 cgroups 的强大的精细化控制能力。笔者希望通过整篇文章的介绍，读者能够了解到 cgroups 能够完成什么样的功能，并且希望读者在使用 cgroups 的功能的时候，能够大体知道内核通过一种什么样的方式来实现这种功能。

2023-11-16 00:41:20 82

原创 Linux系统Shell脚本第三章：for、while循环及脚本实操

for 变量名称(注意是名称不是变量$等) [ in 名称范围 ] (可以不写)for循环将字符串中的每一行读取到一数组中。for (( 表达式1；表达式3：决定循环变量如何改变，决定循环什么时候结束。即，如果希望字符串不做任何编号，则使用单引号即可。执行内容若满足循环则做什么动作。执行内容若满足循环则做什么动作。结论：单引号中的字符串不会做任何处理。done for循环结束标志。双引号中的字符串会做处理，如处理。表达式1：定义变量并赋值。表达式2：决定是否循环。

2023-11-09 23:47:03 714

原创【Shell编程】| if 判断

最近在编写一些测试程序的时候，对if的使用较为片面，很多小的功能都需要去各个地方百度查询，极为不便，因此也想着空闲时候，对if进行详细总结，一来加深印象，二来是为了打造一个if语句的最详细的使用指南。ps：转载变量名=`commond` <---此处使用的反引号，Tab键上的符号变量名=$(commond) <---把命令使用$()括起来在算数比较运算中，少不了运算。该部分主要包括：文件判断、目录判断、权限判断、是否存在判断等est命令可以用来测试条件。

2023-11-07 00:12:25 131

转载【Python】Django日志打印

logging 是线程安全的，其主要由4部分组成：Logger用户使用的直接接口，将日志传递给HandlerHandler控制日志输出到哪里，console，file…一个logger可以有多个HandlerFilter控制哪些日志可以从logger流向HandlerFormatter控制日志的格式handler。

2023-10-26 21:49:08 493

原创 Linux python运维

Python 是一种高级编程语言，它具有简单易学、可移植性强、丰富的第三方库等特点，因此成为了广泛应用于各个领域的编程语言之一。而在 Linux 系统中，Python 的使用也十分普遍。本文将介绍如何在 Linux 系统中执行 Python 脚本并传入参数，以及如何在 Python 中获取这些参数。

2023-10-11 21:01:53 715

原创 Linux登录自动执行脚本

另外，/etc/profile中设定的变量(全局)的可以作用于任何用户，而~/.bashrc等中设定的变量(局部)只能继承 /etc/profile中的变量，他们是”父子”关系。6、~/.bash_profile：该文件是交互式、login方式进入bash运行的，~/.bashrc是交互式non-login方式进入bash运行的，通常二者设置大致相同，所以通常前者会调用后者。当用户登录时，该文件仅仅执行一次。有用户登录时，/etc/profile会遍历/etc/profile.d/*.sh。

2023-10-08 22:41:24 1925 2

原创 linux基础

转载自：

2023-10-08 22:19:30 360

原创【Linux】Linux批量建立主机信任关系

ssh，即Secure Shell，它是把所有传输的数据都进行了加密。它有两个版本，即1.x和2.x，其中只有Open SSh是免费的。从客户端来看，ssh有两种级别的安全验证，一是口令验证（只要你知道账户和密码，就能登录，并且所传输的数据都是加密的），二是密匙验证（自己为自己创建一对密匙，然后把公用密匙放到服务器上；如果你连接服务器的时候，客户端首先发送一个请求，里面包括公用密匙，请求服务器进行验证；

2023-09-26 22:05:23 338

原创【linux】性能优化

这里一定会想到 “高并发” 和 “响应快”，这里词正对应的就是 “吞吐” 和 “延时”。我们知道随着应用负载的体系，系统资源的使用就会提高，甚至达到极限。而性能问题的本质，就是系统资源已经达到瓶颈，但请求处理还是不够快，无法支撑更多的请求。性能分析就是找到应用或系统的瓶颈，并设法去避免或者缓解它们，从而高效的利用系统资源来处理更多的请求。选择指标评估应用程序和系统的性能；为应用程序和系统设置性能目标；进行性能基准测试；性能分析定位瓶颈；优化系统和应用程序；性能监控和告警；

2023-09-24 23:33:39 409

转载【特征处理】数据平滑处理

它的实现原理很简单，就是指定一个长度大小为奇数的窗口，使用窗口中所有数据的平均值来替换中间位置的值，然后平移该窗口，平移步长为 1，继续重复上述操作，直至滑动到时序数据的末尾，如此一来，对时序数据的过滤操作就结束了。均值滤波器的思路简单，计算速度快，但是它容易被窗口中的极值点或者峰值所左右，不能很好地保留序列的边缘信息，在去噪的同时也对数据信号的细节特征产生了一定的破坏，不能很好地去除噪声点，这极大地影响了模型的预测精度。其中，m表示窗口大小，xi表示窗口中的第 i个数据，x表示窗口中所有数据的均值。

2023-09-19 22:53:23 589

转载【机器学习】特征预处理

将数据分成几等份，每等份数据里面的个数是一样的。区间的边界值要经过选择,使得每个区间包含大致相等的实例数量。比如说 N=10 ,每个区间应该包含大约10%的实例。实现程序。

2023-09-19 22:01:29 97

原创【Linux】shell 提示符

Shell变量学习Shell之前，我们先来认真的认识一下Shell，那么什么是Shell呢？Shell俗称壳程序，是一种由C语言编写的用于和操作系统交互的命令解析器软件。它用来接收用户输入命令，然后调用相应的应用程序。Shell同时又是一种程序设计语言。作为命令语言，它交互式解释和执行用户输入的命令或者自动地解释和执行预先设定好的一连串的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言中才具有的控制结构，包括循环和分支。

2023-09-19 21:43:27 294

转载 vim使用技巧

1. 三种模式vim编辑器有三种模式：命令模式、编辑模式、末行模式。「命令模式」「编辑模式」「末行模式」2. 三种打开方式注意：使用vim打开文件时，尽量使用Tab键补全文件名，如果文件名不存在，则会创建一个新的文件。提示：输入:wq退出文件。2）打开文件时，将光标移动到「指定行」打开文件时，光标停在了第三行（默认停在首行）注意：加号是语法格式，不要漏掉3）打开文件时，「高亮」显示关键字。

2023-09-06 22:19:58 127

原创 Lliux管理员一些小技巧

命令w查看的是系统整体上的负载，通过看那个数值可以知道当前系统有没有压力。命令sar是十分强大的，它可以监控系统几乎所有的资源的状态，比如平均负载、网卡流量、磁盘状态、内存使用等。rxkB/s这一列表示每秒收取的数据量（单位为kb），txkB/s这一列表示每秒钟发送的数据量。S：已经中断的进程（大部分的状态）T：已经停止或者暂停的进程。X：已经死掉的进程。如过丢包严重，就需要查看网卡流量是否异常，如果rxpck/s那一列的值大于4000，或者rxkB/s那一列大于5000000，就很有可能被攻击了。

2023-09-02 12:03:35 141

转载 LangChain：打造自己的 LLM 应用

有多种方式可以自定义 Tool，最简单的方式是通过 @tool 装饰器，将一个函数转为 Tool。注意函数必须得有 docString，其为 Tool 的描述。@tool"""返回今天的日期。"""llm=llm,print(agent_math("计算45 * 54"))print(agent_math("今天是哪天？"))1）通过 Loader 加载远程文档2）通过 Splitter 基于 Token 进行文档拆分3）加载 summarize 链，链类型为 refine，迭代进行总结。

2023-08-20 17:52:43 397

转载「IO系列」Linux系统下IO结构

直接IO的缺点：如果访问的数据不在应用程序缓存中，那么每次数据都会直接从磁盘加载，这种直接加载会非常耗时。前面提到写操作讲数据从用户控件复制到内核空间的缓存中，数据什么时候写到磁盘由应用程序采用的写操作机制决定，默认是采用延迟写机制，应用程序只需要将数据写到页缓存就可以了，完全不需要等待数据全部被写入磁盘，系统会负责定期将页缓存数据写入磁盘。mmap 通过缺页中断向磁盘发起真正的磁盘 I/O，所以如果我们当前的问题是在于磁盘 I/O 的高延迟，那么用 mmap() 消除小小的系统调用开销是杯水车薪的。

2023-08-20 16:57:21 95

原创 IC设计仿真云架构

对于IC仿真来说，最重要的是要安全、可维护、高性能的的HPC环境环境。那么云上如何搭建起一套完整的IC仿真云环境呢？这种架构应该长什么样子？

2023-08-13 23:38:29 348

转载 27张图详解网络设备转发流程：路由器、交换机、防火墙是如何处理数据报文的？

接口板卡就是我们常说的业务板卡，提供丰富的端口类型和端口数量，不同的板卡类型提供的端口数量和端口类型（光口、电口）也不一样，端口的速率也不一样（10G/25G/40G/100G等）。这款交换机的硬件满配组成如下：2个主控板、4个交换网板、8个接口板卡、2个集中监控板、6个电源模块、4个风扇模块等。（2）主控板CPU收到协议报文之后进行相应的处理，如果需要回应报文，则主控板会构造协议报文进行回应。，并通过PFE（包转发引擎）对报文进行处理，获取封装信息，对报文进行封装，并通过出接口转发出去。

2023-08-11 22:13:08 1236

转载网络地址规划：主机、路由、网关是什么

可推算出：192.168.30.30 的网段地址是 192.168.30.0/24 ，子网掩码是 255.255.255.0 ，广播地址是 192.168.30.255 ，第一个可用地址是 192.168.30.1 ，最后一个可用地址是 192.168.30.254 ，可用地址范围是 192.168.30.1 ~ 192.168.30.254。保证与前面两个子网地址不重复的前提下，使用未分配的子网值最小的子网地址，计算第三个需要分配的子网地址。的子网值最小的子网地址，计算第二个需要分配的子网地址。

2023-08-11 22:02:50 655

原创机器学习参数调优

调参、随机森林

2023-08-08 22:50:36 1022 1

原创关于未来的一点记录

未来

2023-08-08 00:00:19 54

原创【算力革命】算力架构

AI芯片可按架构分为CPU、GPU、FPGA、ASIC，各架构的优缺点可参考以下文章：CPU、GPU、FPGA、ASIC等AI芯片特性及对比_cpu gpu fpga_maopig的博客-CSDN博客最近，新名词 DSA（Domain Specific Architecture，特定领域架构），可参考以下文章：https://mp.weixin.qq.com/s/dw0Btk126Ime6BF3zDVvJQ如何让算力提升1000倍？百度挺过寒冬，但下一个春天在哪？丨智氪巴菲特减持比亚迪，是什么信号？ | 棱

2023-07-28 22:27:05 299

excel应用技巧 全

DiagramDesigner 比viso好用的画图工具

空空如也

excel应用技巧全