- 博客(337)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 python3多进程与进程池
使用进程并发主要依赖于Python的 和 的两个模块。multiprocessing主要包括如下方法和属性：方法介绍:属性介绍：Python中的multiprocessing库创建进程的步骤如下：示例结果如下：进程对象创建时需要分配一个函数，作为进程的执行任务。如示例中的foo()，可以使用元组的形式给函数传递一些参数上面的代码中，主进程是指运行整个脚本的进程，也就是执行之后的代码的进程。主进程负责创建和管理子进程。前面创建了一个进程，分配目标函数和函数变量。给进程分配一个名字，有助于debu
2023-09-18 17:14:24
364
原创 7.接着跑一下triton官方教程
在此示例中，我们将探索使用模型集成来仅通过单个网络调用在服务器端执行多个模型。这样做的好处是减少了在客户端和服务器之间复制数据的次数，并消除了网络调用固有的一些延迟。为了说明创建模型集成的过程，我们将重用中首次介绍的模型管道。在前面的示例中，我们分别执行了文本检测和识别模型，我们的客户端进行两个不同的网络调用并在其间执行各种处理步骤，例如裁剪和调整图像大小，或将张量解码为文本。下面是管道的简化图，其中一些步骤发生在客户端，一些步骤发生在服务器上。
2023-08-26 18:09:31
1694
原创 3.python3 使用tritonclient
根据我的测试，grpc方式调用triton的性能远远高于http方式，在极端情况下甚至可以达到十倍的性能差距，因此如果没有特殊需要，我不建议使用http方式调用。如果报如下错误ModuleNotFoundError: No module named 'tritonclient'，则使用。triton python client的安装非常简单，使用如下方式即可，如果你只使用http或grpc方式调用，可以将。这样可以确保你的依赖被安装到你使用的python环境中。
2023-08-25 19:20:56
1780
原创 5.从头跑一个pipeline
PyTorch的模块中自带的很多预定义模型。是PyTorch的一个官方库，专门用于处理计算机视觉任务。在这个库中，可以找到许多常用的卷积神经网络模型，包括ResNet、VGG、AlexNet等，以及它们的不同变体，如resnet50vgg16等。
2023-08-23 22:19:02
447
原创 ubuntu安装cpplint（CLion使用）
3.8/site-packages/cpplint.py （大致路径长这样的）安装完成后，出现/usr/local/bin/cpplint。出现~/.local/bin/cpplint。源码位于/usr/local/lib/3)Clion安装cpplint插件。源码位于~/.local/lib/1）安装cpplint。
2023-02-27 15:43:42
473
原创 ubuntu20.04安装conda
它是 Anaconda 的小型引导程序版本，仅包含 conda、Python、它们所依赖的包，以及少量其他有用的包，包括 pip、zlib 和其他一些包。Conda 是一个运行在 Windows、macOS 和 Linux 上的开源包管理系统和环境管理系统。它是为 Python 程序创建的，但它可以为任何语言打包和分发软件。任何语言的包、依赖和环境管理---Python, R, Ruby, Lua, Scala, Java, JavaScript, C/ C++, FORTRAN。
2023-02-24 19:31:48
5020
原创 ubuntu:20.04编译arrow
如果不使用 conda，您必须安排您的系统提供所需的构建工具和依赖项。请注意，如果缺少某些依赖项，Arrow C++ 构建链可能仍然能够即时下载和编译它们，但这将比预安装的二进制文件花费更长的时间。构建时依赖项安装为预构建的二进制文件，这可以使 Arrow 开发更轻松、更快速。conda包管理器允许将 Arrow C++ 和 PyArrow。7）设置环境变量，让 Arrow 的构建系统知道我们的构建工具链。3)拉入测试数据并设置环境变量。5)激活pyarrow-dev。以获取您可能需要的依赖项列表。
2023-02-24 19:30:02
971
原创 docker安装kafka
apt-get install librdkafka-dev -y ///把librdkafka安装到系统目录就不需要了。，并提供了一个高级 API，该 API 使用现代 C++ 功能来简化代码编写，同时将包装器的性能开销保持在最低水平。1）需要注意kafka的C库和C++库的链接顺序，需要先连接C++库，后连接C库。2）在linux在pthread可能不是默认的库，在连接时需要指定。7）删除topic，test对应的topic被删除。6.使用modern-cpp-kafka。4.编译rdkafka。
2023-01-05 11:25:25
886
原创 mongodb-cxx-driver使用
mongocxx driver 是构建在 MongoDB C driver 之上的编译后mongo-c-driver默认安装到/usr/localmongo官方推荐并且当前最稳定的版本是3.5，因此使用3.5.1支持编译后被安装到/mongo-cxx-driver/build/install,将include和lib拿出来使用即可注意：mongo-cxx-driver 使用了 C++17 的功能和 创建目录，mkdir -p /data/db 存储mongo数据，最终执行mongod即可启动mongo服务器
2022-12-23 10:50:06
1625
原创 1.triton镜像使用
1）拉取镜像2）启动容器指定模型仓库时可以执行server下的./fetch_model.sh,见2.2部分GPU版本的启动CPU版本的启动区别只在于--gpus=1这个参数注意：docker19.03之前的版本使用gpu要指定显卡硬件名，docker19.03之后的需要安装nvidia-container-toolkit或nvidia-container-runtime安装之后要重启docker查看gpus参数是否安装成功重新执行我遇到了如下错误先使用非GPU版本的。
2022-11-02 16:29:45
1261
1
原创 2.triton 项目编译运行
nvcr.io/nvidia/tritonserver:22.06-py3镜像以ubuntu:20.04为基础镜像构建。
2022-10-24 15:44:13
3517
3
原创 jmeter测试--压力测试
1.准备工作服务端的功能上线之前需要进行压力测试，减少发布后生产环境出问题的概率。jmeter正是一款这样的工具。本教程是在mac上进行操作的。1）安装javajmeter是使用java编写的，需要安装java环境，安装jdk即可。官网下载Java Downloads | Oracl2）下载jmeterApache JMeter - Download Apache JMeter下载最新的tgz包，下载后解压3）启动jmeter进入到解压后的bin目录，终端
2022-03-18 16:47:28
1143
原创 ubuntu安装软件包及问题集锦apt
1.bash: add-apt-repository: command not found原因:add-apt-repository包未安装解决：执行如下命令sudo apt-get install software-properties-common python-software-properties2.安装gcc 9sudo apt-get updatesudo apt-get install build-essential该命令会安装很多软件包，其中包括gcc，g++
2022-03-04 16:14:32
4618
原创 linux安装java
此处以centos7为例1.查看系统是否有Javarpm -qa|grep java有则卸载rpm -e --nodeps java*2.安装Javayum install java-11-openjdk -y3.配置打开/usr/lib，此目录下的文件为：打开/etc/profilevim /etc/profile末尾添加#set java environmentJAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.
2021-11-05 15:40:27
135
原创 Mac安装mysql
1.下载与安装1）官网下载MySQL :: MySQL Downloads点击downloads，然后点击底部的mysql communtity downloads点击mysql community server点击archives选择版本，这里选择5.6.412）安装一路继续即可2.配置环境变量1)打开~/.bash_profilevim ~/.bash_profile2)输入如下内容export PATH=$PAT...
2021-10-27 16:45:21
254
原创 Mac安装各种软件
1.安装kubectlMac安装kubectl_天启的博客-CSDN博客2.安装go与第一个go程序Mac安装go与第一个go程序_天启的博客-CSDN博客3.安装javamac安装java_天启的博客-CSDN博客4.安装antrl4Mac安装antlr4_天启的博客-CSDN博客...
2021-10-27 15:47:35
157
原创 linux安装
1.安装mysql1)检测系统是否默认安装Mysqlrpm -qa | grep mysql若安装，则删除rpm -e mysql // 普通删除模式rpm -e --nodeps mysql // 强力删除模式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删除2）安装mysqlwget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpmrpm -ivh mysql-c
2021-10-26 15:01:54
71
原创 k8s集群上clickhouse集群的简单使用
假设集群名字为cluster11.下载数据集curl https://datasets.clickhouse.tech/hits/tsv/hits_v1.tsv.xz | unxz --threads=`nproc` > hits_v1.tsvcurl https://datasets.clickhouse.tech/visits/tsv/visits_v1.tsv.xz | unxz --threads=`nproc` > visits_v1.tsv连接数据库clickh
2021-10-19 15:20:13
555
原创 C++--强制类型转换static_cast、dynamic_cast、const_cast、reinterpret_cast
C++中的强制类型转换主要有4种static_cast、dynamic_cast、const_cast、reinterpret_cast 1.static_cast 静态类型转换,使用形式如下：static_cast<new_type> (expresion); 其中new_type为目标类型，expresion为原始数据类型变量或表达式。 static_cast用来强迫隐式转换，如将non-const对象转为...
2021-09-14 20:36:51
443
原创 k8s集群搭建clickhouse集群
主要分为3步骤：安装clickhouse-operator,k8s上部署zookeeper,配置clickhouse集群1、安装clickhouse-operator下载clickhouse-operatorkubectl apply -f https://raw.githubusercontent.com/Altinity/clickhouse-operator/master/deploy/operator/clickhouse-operator-install.yaml查看operat
2021-09-06 15:37:55
3338
4
原创 clickhouse--副本、分片、Distributed
副本的目的防止数据丢失，保证高可用，分片则是实现数据的水平切分。 使用副本需要使用replicatedMergeTree存储引擎。MergeTree存储引擎存储数据时首先将数据写入内存缓冲区，然后数据被写入本地磁盘临时目录分区，待全部完成后再将临时目录重新命名为正式分区。1、建表 RelicatedMergeTree在MergeTree上增加了zookeeper,replicatedmergeTree会在zookeeper内创建一系列监听节点，并以此实现相互通...
2021-09-02 20:13:31
1149
原创 clickhouse集群简单使用
1、基本操作1.1集群启动的基本步骤master,node1,node2三个节点上各自执行如下操作zkServer.sh startservice clickhouse-server start然后在一台节点，这里使用master启动clickhouse客户端clickhouse-client1.2集群上创建数据库与删除数据库创建数据库create database databaseName on cluster clustersName;databaseName
2021-08-26 17:48:18
1413
原创 从0到1搭建clickhouse集群
1、安装前准备1.1安装paralledls Desktop1.2下载centos2.安装虚拟机2.1安装master虚拟机1)打开pd,选择安装Windows或其他操作系统，然后选择继续2）选择系统镜像一般会自动找到之前下载的镜像，点击继续若为找到，点击手动选择，手动导入镜像3）设置用户名密码4）名称和位置5）虚拟机配置这里我使用的默认配置，可以点击配置设置自己想要的，然后点击继续6）启动centos选择第一个，...
2021-08-26 15:34:33
777
原创 clickhouse9--数据库引擎
用户使用的所有表都是由数据库引擎所提供的。默认情况下，clickhouse使用自己的数据库引擎，该引擎提供可配置的表引擎。除此之外，可以选择的数据库引擎包括：MySQL,Lazy1.Atomic 默认情况下使用Atomic引擎。CREATE DATABASE test ENGINE = Atomic;支持非阻塞Drop和Rename table查询以及原子exchange tables t1 and t2查询2.Lazy 延时引擎，在距最近...
2021-08-16 10:50:41
259
原创 clickhouse5:表引擎-Megree
clickhouse在建表时必须显示指定该表使用的引擎，以及引擎使用的相关参数。引擎的名称大小写敏感。表引擎决定了如何存储表的数据，包括：数据的存储方式和位置，写到哪里以及从哪里读取数据 支持哪些查询以及如何支持 并发数据访问 索引的使用(如果存在) 是否可以执行多线程请求 数据复制参数1.MergeTree 适用于高负载任务的最通用和功能最强大的表引擎。这类引擎的特点是可以快速插入数据并进行后续的后台数据处理，MergeTree引擎支持数据复制(使用Repli...
2021-08-13 20:10:15
260
原创 clickhouse6-表引擎--日志引擎
具有最小功能的轻量级引擎。当需要快速写入许多小表(最多约100万行)，并在以后整体读取他们时，该类引擎最适合。该类型的引擎有：TinyLog StripeLog Log1共同属性 数据存储在磁盘上； 写入时将数据追加在文件末尾； 不支持突变操作； 不支持索引； 意味着select在范围查询时效率不高 非原子地写入数据 如果某些事情破坏了写操作，如服务器的异常关闭，你将会得到一张包含了损坏数据的表2.差异L...
2021-08-13 20:09:35
165
原创 C++：STL算法
一、头文件 算法主要是由头文件<algorithm><functional><numeric>组成。其中<algorithm>是STL中最大的一个，包含比较、交换、查找、遍历、复制、修改等操作。<numeric>体积较小，值包含几个在序列上面进行简单数学运算的模板函数。<functional>定义了一些模板类，用以声明函数对象。二、遍历算法2.1for_each 遍历容器，函数原型为：f...
2021-08-12 10:27:48
371
1
原创 C++：函数对象、谓词、内建函数对象、函数适配器
一、基本概念 如果一个类将()运算符重载为成员函数，这个类就称为函数对象类，这个类的对象就是函数对象。函数对象是一个对象，使用重载的()时，使用形式看起来像函数调用，又称仿函数。 函数对象(仿函数)的本质是一个类，不是一个函数。特点：函数对象不定义构造函数和析构函数，所以在构造和析构时不会发生任何问题，避免了函数调用的运行时问题 函数对象超出普通函数的概念，函数对象可以有自己的状态 函数对象可内联编译，性能好，用函数指针几乎不可能 函数对象可以作为参数传递 函数对象在使...
2021-08-11 17:10:57
173
原创 C ++ deque
1.简介deque是一个双端队列，内容保存在堆中，支持随即访问和快速插入删除，在容器中某一位置上的操作所花费的是线性时间。它的保存形式为：堆1堆2堆3每个堆保存好几个元素，堆和堆之间有指针指向。使用时添加头文件#include<deque>2.声明deque<int> c;//创建一个空的dequedeque<int> c1(c2);//将c2的内容复制到c1deque<int> c1(n);//创建一个deque，含有n
2021-08-10 17:50:01
429
原创 C++:文件操作
文件类型分为2种：文本文件；二进制文件。文本文件：文件以文本的ASCII码形式存储二进制文件：文件以文本的二进制形式存储C++提供了操作文件的3个类：ofstream--写；ifstream--读；fstream---读写操作1.文本操作1.1写文件 写文件的流程为：包含头文件 #include<fstream>；创建流对象：ofstream ofs;；打开文件：ofs.open(“文件路径”，打开方式);；写数据：ofs<<“写入的数据”；关闭文...
2021-08-05 10:27:49
115
原创 C++:友元
友元的目的是让一个函数或类，访问另一个类的私有成员友元三种实现：全局函数做友元；类做友元；成员函数做友元1.全局函数做友元当全局函数想要访问类的私有成员时，需要将其声明为友元函数。示例如下：class A{private: int n;public:; int m; A() { n=10; m=20; cout<<"执行普通构造函数"<<endl; } ~A()
2021-08-04 11:23:52
116
原创 clickhouse学习笔记2：基本使用教程
clickhouse的使用，和MySQL没有什么区别，你可以执行创建数据集、建表、查询这些操作1使用数据集1）Ubuntu终端下载数据集curl https://datasets.clickhouse.tech/hits/tsv/hits_v1.tsv.xz | unxz --threads=`nproc` > hits_v1.tsvcurl https://datasets.clickhouse.tech/visits/tsv/visits_v1.tsv.xz | unx...
2021-08-02 11:25:45
444
原创 C++ STL:vecotr的at()函数
arr.at(n)与arr[n]的含义一样，返回arr中第n个元素，唯一的区别在于at()函数比[]运算符更安全，因为at()不会去访问越界的元素。源码如下：at()函数：可以发现at()函数在使用进行了是否越界的判断，越界则抛出异常。示例如下：#include<iostream>#include<string>#include<cstring>#include<string.h>#include<vector>u.
2021-07-28 14:37:04
1445
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人