工程实践
文章平均质量分 80
ヾ(◍°∇°◍)ノ゙
sdbhewfoqi
这个作者很懒,什么都没留下…
展开
-
【深度学习】GPU节点
计算节点一个计算节点是集群中的一个独立计算单元,通常包含一个或多个CPU、内存、存储和网络接口。计算节点可以单独运行任务,也可以与其他节点协作完成并行计算任务。GPU节点一个GPU节点不仅包含上述的CPU、内存等组件,还额外配备了一个或多个GPU卡。GPU卡用于加速计算任务,特别是那些可以并行处理的任务,如深度学习训练、科学计算、图像处理等。原创 2024-07-30 18:36:57 · 448 阅读 · 0 评论 -
【Linux】PATH和LD_LIBRARY_PATH的区别
目的PATH用于查找可执行文件,而用于查找动态链接库。影响对象PATH影响命令的查找和执行,影响程序运行时动态库的查找和加载。使用场景PATH更多地关注于用户和系统的交互,即如何快速找到并执行用户请求的命令;更多地关注于程序的运行时环境,即程序运行时如何找到它需要的动态链接库。了解这两个环境变量的区别对于有效地配置和管理Linux和类Unix操作系统的环境非常重要,可以帮助确保命令和程序能够正确地找到它们需要的资源。总的来说,.so。原创 2024-06-27 20:49:28 · 1079 阅读 · 0 评论 -
【深度学习】GPU版本
总的来说,NVIDIA GPU的驱动版本和CUDA版本之间的关系是基于兼容性和性能优化的。选择正确的CUDA版本和相应的驱动版本对于开发和运行基于CUDA的应用程序至关重要。通常,更新的驱动版本提供了对最新CUDA版本的支持,以及性能和安全性的改进。看完,不知所云。总的来说,nvidia-smi展示的cuda版本也不一定是真实运行的cuda版本,还和驱动有关系。可以看看nvidia-smi和nvcc -v。原创 2024-06-27 20:30:06 · 491 阅读 · 1 评论 -
【工程实践】MQ中rebalance机制
问题起因,有些分区积压严重,有些分区又是空闲。之前了解过rebalance机制,想知道在这种情况下rebalance机制为什么不触发,从而将积压的数据匀给空闲的分区。问了gpt,“mq的rebalance功能能否保证每个分区在同一时间段保持均衡的消费量?消息队列(MQ)的rebalance(重新平衡)功能主要设计用来在消费者组内部动态分配消息分区,以确保所有消费者都有工作负载。当新的消费者加入消费者组、现有消费者离开组或者分区数发生变化时,rebalance会触发。原创 2024-06-27 19:12:18 · 626 阅读 · 0 评论 -
【实践】部署时GPU与CPU
尽管GPU在深度学习计算中发挥了关键作用,但CPU在数据预处理、任务调度、系统管理和数据传输等方面同样不可或缺。因此,部署深度学习服务需要同时申请GPU和CPU资源,以充分利用它们各自的优势,确保服务的高效和稳定运行。原创 2024-06-14 16:30:30 · 310 阅读 · 0 评论 -
miniconda3安装window 无法pip
3.配置环境变量:%HOMEPATH%\pip\pip.ini添加到path中。安装以上路径,将tcp/ipv6关了。然后重启电脑就好了。1.进入命令行,在当前用户目录下创建pip文件夹。只要添加后面两个就行。原创 2024-05-11 16:20:50 · 976 阅读 · 1 评论 -
【Python】多进程线程与CPU核数
多进程数量设置为CPU核数,或者略小于CPU核数;多线程数量,如果是CPU密集任务设为1;如果是IO密集设为合理的值;原创 2023-11-03 14:37:45 · 5205 阅读 · 3 评论 -
【】断点位置与使用
step into mycode(只能跳转当前脚本的函数) 和 step into(也可以跳入外部脚本写的函数 ) 差不多,唯一区别: step into mycode遇到当前脚本写的函数,会进入函数内部执行;如果是其他包导入的函数,就不会跳入那个函数。函数执行一遍,想要出来,回到主程序上,点击 step over。resume program 跳过当前断点,直到运行到下一个断点处。step out 从里面的函数,一层一层往外面的函数跳。step into 运行到函数部分,进入函数内部执行。原创 2023-07-26 23:57:35 · 279 阅读 · 0 评论 -
【工程实践】性能测试监控TP50、TP99、TP999含义
性能测试监控TP50、TP99、TP999含义原文首先放一段google到的一段解释:The tp90 is a minimum time under which 90% of requests have been served.tp90 = top percentile 90Imagine you have response times:10s1000s100s2sCalculating TP is very simple:1. Sort all times in as.原创 2021-05-21 17:39:55 · 840 阅读 · 0 评论 -
【编程语言】编码读取失败问题
UnicodeDecodeError: 'ascii' codec can't decode byte 0x8e in position 0: ordinal not in range(128)import pickle with open("data\\squeeze_net\\model.pkl",'rb') as f: content = pickle.load(f, encoding='iso-8859-1')print(content)# 原来报错的内容with open原创 2021-02-09 18:57:33 · 309 阅读 · 0 评论 -
【数据科学】mac安装pyspark
java1.8首先要安装好,然后去下载spark和scala。版本对应问题一定要注意!!!总而言之就是安装包下载好,然后bin目录添加到环境变量里,就大功告成了~java==1.8 scala==2.11.8 spark==3.0.1 # 注意这里没有安装过hadoop哦spark网站下载https://www.apache.org/dyn/closer.lua/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgzscala网站下载htt..原创 2021-01-11 23:32:12 · 306 阅读 · 0 评论 -
【工程】conda常用命令
1、安装包批量导入、导出pip 将当前Python环境中已安装的所有包的包名和版本信息,输出重定向到指定文件中。(通常可以保存到requirements.txt文件中)# 输出已经安装的所有包的包名和版本信息pip freeze# 将上述结果输出重定向到requirements.txt文件中保存pip freeze > requirements.txtpip 批量安装requirements.txt中指定的包pip install -r requirements.txtc原创 2020-11-22 12:39:04 · 217 阅读 · 0 评论 -
【Docker】部署时遇到的一些问题
问题:Hash sum mismatch解决方案:解决参考:Docker学习笔记(五)-fixbug2-Hash sum mismatch其他一些网路问题问题:No server is available to handle this request.原创 2020-11-25 17:20:43 · 430 阅读 · 0 评论 -
【Git】远程分支仓库拉取到本地
例如:将gitLab 上的dev分支拉取到本地1》与远程仓库建立连接:git remote add origin XXXXX.git2》使用git branch 查看本地是否具有dev分支3》如果没有git fetch origin dev4》git checkout -b dev origin/dev在本地创建分支dev并切换到该分支5》git pull origin dev就可以把gitLab上dev分支上的内容都拉取到本地了---------------------...原创 2020-09-17 21:46:05 · 856 阅读 · 0 评论 -
【工程部署】k8s概览(2)
一个k8s集群如下图,(多台机器集中管理称为一个集群)master、node1、node2都分别是一台物理机。(1)master:k8s集群的管理节点,负责管理集群,提供集群的资源数据的访问入口(2)Node:node是k8s集群架构中运行pod的服务节点(3)Pod:运行于Node节点上,若干相关容器的组合,pod内包含的容器运行在同一宿主机上,使用相同的网络命名空间,IP地址和端口,能够通过localhost进行通信。问题:既然pod在一个宿主机上,那么这个...原创 2020-09-16 23:29:39 · 154 阅读 · 0 评论 -
【工程部署】nginx概览
1、基本概念负载均衡是高可用网络基础架构的关键组件,通常用于将工作负载分布到多个服务器来提高网站、应用、数据库或其他服务的性能和可靠性。一个没有负载均衡的 web 架构类似下面这样:在这里用户是直连到 web 服务器,如果这个服务器宕机了,那么用户自然也就没办法访问了。另外,如果同时有很多用户试图访问服务器,超过了其能处理的极限,就会出现加载速度缓慢或根本无法连接的情况。而通过在后端引入一个负载均衡器和至少一个额外的 web 服务器,可以缓解这个故障。通常情况下,所有的后端服务器会保证提原创 2020-09-15 22:52:20 · 164 阅读 · 0 评论 -
【工程部署】k8s概览
k8s是什么就在Docker容器技术被炒得热火朝天之时,大家发现,如果想要将Docker应用于具体的业务实现,是存在困难的——编排、管理和调度等各个方面,都不容易。于是,人们迫切需要一套管理系统,对Docker及容器进行更高级更灵活的管理。K8S,就是基于容器的集群管理平台,它的全称,是kubernetes。K8S的架构,略微有一点复杂,我们简单来看一下。一个K8S系统,通常称为一个K8S集群(Cluster)。这个集群主要包括两个部分:一个Master节点(主节点) 一群Nod.原创 2020-09-14 23:13:01 · 223 阅读 · 0 评论 -
【工程部署】docker概览
docker理解Docker本身并不是容器,它是创建容器的工具,是应用容器引擎。想要搞懂Docker,其实看它的两句口号就行。第一句,是“Build, Ship and Run”。也就是,“搭建、发送、运行”,三板斧。举个例子:我来到一片空地,想建个房子,于是我搬石头、砍木头、画图纸,一顿操作,终于把这个房子盖好了。结果,我住了一段时间,想搬到另一片空地去。这时候,按以往的办法,我只能再次搬石头、砍木头、画图纸、盖房子。但是,跑来一个老巫婆,教会我一种魔法。这种魔法,原创 2020-08-25 00:06:11 · 144 阅读 · 0 评论 -
【工程】并发、并行、同步、异步和阻塞
并发 并发指的是一个 CPU 同时处理多个程序,但是在同一时间点只会处理其中一个。并发的核心是:程序切换。 并行 并行指的是多个 CPU 同时处理多个程序,同一时间点可以处理多个。 同步 执行 IO 操作时,必须等待执行完成才得到返回结果。 异步 执行 IO 操作时,不必等待执行就能得到返回结果。 阻塞 非阻塞 ...原创 2020-08-18 21:19:08 · 226 阅读 · 0 评论 -
【Git】远程仓库基础命令2
1、合并远程仓库2、远程追踪3、git push的参数4、git fetch的参数5、没有source的source6、git pull的参数原创 2020-08-16 21:17:05 · 161 阅读 · 0 评论 -
【Git】远程仓库基础命令1
1、git clone你可能注意到的第一个事就是在我们的本地仓库多了一个名为o/master的分支, 这种类型的分支就叫远程分支。由于远程分支的特性导致其拥有一些特殊属性。远程分支反映了远程仓库(在你上次和它通信时)的状态。这会有助于你理解本地的工作与公共工作的差别 —— 这是你与别人分享工作成果前至关重要的一步.远程分支有一个特别的属性,在你检出时自动进入分离 HEAD 状态。Git 这么做是出于不能直接在这些分支上进行操作的原因, 你必须在别的地方完成你的工作, (更新了远程分支之后)..原创 2020-08-11 23:25:02 · 503 阅读 · 0 评论 -
【Git】git基础命令
1、git commit2、git branchgit checkout -b bugFix 创建bugFIx分支,并切换到bugFix分支上。Git 的分支也非常轻量。它们只是简单地指向某个提交纪录 —— 仅此而已。所以许多 Git 爱好者传颂:早建分支!多用分支!这是因为即使创建再多分的支也不会造成储存或内存上的开销,并且按逻辑分解工作到不同的分支要比维护那些特别臃肿的分支简单多了。在将分支和提交记录结合起来后,我们会看到两者如何协作。现在只要记住使用分支其实就相当于在说:原创 2020-08-11 12:32:32 · 386 阅读 · 0 评论 -
【工程】域名与DNS
http协议HTTP 协议主要用于客户端和服务器之间的网络通信,是目前应用非常广泛的一种通信协议。我们常见的网站、手机应用等于服务器的通信大都采用 HTTP 协议。那什么是客户端和服务器端?客户端: 请求访问网站、图片、视频等资源的一端。比如你在浏览器上访问一个网站,浏览器就是客户端;或者比如你使用淘宝的客户端购买商品的时候,你的手机上的淘宝 App 就是客户端; 服务器端: 提供资源的一端。比如京东的服务器,淘宝的服务器。你在淘宝上购物的时候,你访问到的商品信息、图片、视频等就是由淘宝的原创 2020-08-03 11:37:49 · 251 阅读 · 0 评论 -
【工程实践】http中get、post、put与请求参数
目录一、GET、POST、PUT与DELETE的区别二、GET和POST的区别导致的问题请求数据的区别三、GET和POST一、GET、POST、PUT与DELETE的区别1、GET请求会向数据库发索取数据的请求,从而来获取信息,该请求就像数据库的select操作一样,只是用来查询一下数据,不会修改、增加数据,不会影响资源的内容,即该请求不会产生副作用。无论进行多少次操作,结果都是一样的。2、与GET不同的是,PUT请求是向服务器端发送数据的,从而改变信息,该请求就像数据库的u原创 2020-07-26 21:59:07 · 6895 阅读 · 1 评论 -
【风控实践】征信模型改进word2vec
这次改进打算使用中文的word2vec代替原本代码里的随机生成。第一次弄,问题记录如下:使用别人训练好的模型加载model = word2vec.Word2Vec.load("D:\\work\\Word2Vec训练好的模型\\搜狐百度120g\\百度百科搜狐新闻.model") ...原创 2019-07-30 13:10:07 · 766 阅读 · 0 评论 -
【风控实践】信用卡欺诈检测(上)
source:https://www.kaggle.com/janiobachmann/credit-fraud-dealing-with-imbalanced-datasetsCorrecting Previous Mistakes from Imbalanced Datasets:Never test on the oversampled or undersampled datase...原创 2019-06-21 14:40:41 · 1521 阅读 · 0 评论 -
【风控实践】信用卡欺诈检测(下)
传送门:【风控实践】信用卡欺诈检测(上)针对不平衡数据,采用上采样的方法STOME算法进行分析。处理数据import numpy as npimport pandas as pdimport matplotlib.pyplot as pltplt.style.use('ggplot')from imblearn.over_sampling import SMOTEfrom...原创 2019-06-24 11:13:31 · 857 阅读 · 0 评论