yyw794的专栏

Conversational AI with Language Models，是一个原生大模型的对话方案，包括：业务逻辑（Business Logic）对话理解 （Dialogue Understanding）对话修复 （Automatic Conversation Repair）大模型负责理解用户的整篇对话，输出贴合业务流程的内部命令语言。由于大模型并不是直接输出文字给用户，而是保证DM流程图的执行，因此，它不会产生幻觉，在商业领域中可以可靠的运行。

基于意图大模型的对话系统，大模型扮演3个核心功能：基于prompt的意图分类无意图策略NLG的rephrase

v /disk/triton_models:/models 代表你的模型文件夹都要放在物理机的/disk/triton_models文件夹中（这个文件夹会mount到容器内部的/models里）代表使用显卡1（第二张显卡），triton并不会独占显卡，启动后，显卡仍然可以进行训练和其他任务（triton加载模型越多，显存占用越多，不需要的模型可以挪出文件夹）（--model-control-mode=poll 文件夹任意内容的改变都会被triton监听，自动加载最新内容）docker ps 可以查看。

Triton的21.08开始，支持BLS功能，将model serving的和模型交互的代码，放入triton的python backend中。

在单个处理的速度上，onnx胜过使用了混合精度的Tensorflow模型；在批量处理上，如批量50条，则应用了混合精度的Tensorflow模型比Onnx模型性能高2倍多。

Bert工程化代码优化

onnx模型比优化后的pytorch模型更快35%转为tensorRT后，相比优化后的pytorch模型，吞吐量提升1.5倍

pytorch, tensorflow, onnx, tensorrt 格式的横向比较

在常见的分词器比较中发现，基于深度学习的分词器效果最好，其中，选择了hanlp

为什么要加中文字体？医院内部的pacs系统，都运行在windows上，为了能正常和最好的显示中文，一定会选择中文字体。从测试结果上看，字体对OCR的识别率影响比较大，因此，训练使用的字体应该包含医院pacs内的字体，才能有最佳的识别率。Ubuntu内部是没有windows常见的字体的（版权问题），需要将windows的常见字体安装到Ubuntu内部，才能进行中文字体的OCR训练。如何加入中文字体？从windows里拷贝过来即可，ttf格式是一种通用格式。进入windows系统盘的/Wind

方案通过图像改进，提升识别率参考https://github.com/tesseract-ocr/tesseract/wiki/ImproveQuality下图来自https://groups.google.com/forum/#!msg/tesseract-ocr/Wdh_JJwnw94/24JHDYQbBQAJ可以看到，每个字母的高度，如果在30多个像素时，具有最佳识别率。TMH的截屏图像，总高度为24个像素。当为单行文字时，文字高度为低于24个像素当为双行文字时，.

安装tesseract 5(安装4.1或5的原因在于，4.1开始支持LSTM模型下的user-patterns) 安装必要依赖库，git clone最新代码 cd tesseract ./autogen.sh ./configure make sudo make install sudo ldconfig make training sudo make training-instal 如何训练：https:/..

图像层数 每张图像平均体积（KB） orthanc日志输出级别 orthanc数据库 接收时间（s） 重新发送的接收时间（s） 备注 2110 515 default sqlite 265 118 原始图像 ...

放射放射的基本框架每一个服务器内的服务都采用上面统一的结构组成。测试环境的全流程耗时统计 全流程 等待拉取数据 PACS模块接收数据 后端处理 算法排队 算法模块计算 平均耗时 950s 630s 19s 27s 189s 85s 百分比 66% 2% 3% 20% 9% 数据拉取模块整体结构图现有方案的时间消耗分析（以下以...

匿名后内容字符串类型:anonymized普通属性:NA日期类型:19000101脱敏执行条件A类: 进入软件系统, 无条件脱敏. (对医生阅片无帮助)B类: 进入软件系统, 根据配置条件,选择性脱敏. 通过OPS模块导出软件系统（离开软件系统）, 必须脱敏 (对医生阅片有帮助)C类:进入软件系统, 不脱敏.通过OPS模块导出软件系统（离开软件系统）, 必须脱敏 (软件系统强依赖的属性)公司存留数据，属于离开软件系统的范畴，如下表格全部需要脱敏属性 ...

最近在计算一例弥漫性结节时，出现了由于内存不足导致算法服务重启的问题，从而出现了肺结节无结果的故障。除了通过土豪加物理内存来解决的方法外，其实可以有0成本的解决方案：增大服务器的虚拟内存。在家里一台32G的服务器上，原来虚拟内存只有1G，跑弥漫性结节会出现算法服务重启。通过增加虚拟内存，32G内存的服务器顺利的跑过了这例弥漫性结节（实测VIRT峰值达到60多G）。以下的/swapfile不一定在根目录下，在其他目录同样有效，如/home/guest/swapfile (当系统分区空.

基本架构pacs_module负责数据拉取的业务逻辑orthanc负责所有的接收图像工作，和所有find与move。pacsInterface仅保留pacs的写入操作store(小众场景）orthanc提供了很多新的基础能力.接收兼容性强 find可以实现patient, study, series, image 4个层次的查询 move可以同步,异步可选. move的job持久化, 即使服务重启,也能继续move. 通过API可以查询patient, study, se..

历史版本的前端对dicom图像的加载是通过后端的flask的send_from_directory函数实现。这里直接采用nginx方案，前端直接通过nginx下载dicom图像，减少了和flask的交互和多余的网络包结构。测试环境A环境为：１０００Ｍ网络图像：xx病人的图像（2107层，413Ｍ）下载速度测试方案 前端６并发 前端１０并发 采用flask的send_from_directory 14.1 11.6 直接采用nginx 11..

什么是triton inference server?它的前身是nvidia的tensorRT，triton在具备tensorRT的基础上，增加了主流的TF，pytorch，onnx等模型的推理部署支持。是一款非常好的推理模型部署服务。具体了解：NVIDIA Triton Inference Server | NVIDIA Developerhttps://developer.nvidia.com/nvidia-triton-inference-server模型部署及优化实践pyto

我的笔记本虽然有nvidia独显，但为了更好的续航，平时会切换为intel集成显卡，需要AI计算时，才临时切换会nvidia独显。采用prime-select指令prime-select query 可以查询在用的显卡是哪一个sudo prime-select nvidia 切换nvidia独显sudo prime-select intel 切换intel集成显卡...

环境：在一台可以正常运行算法的服务器上（否则在普通电脑（可能没有cuda或nvidia驱动等原因）打包的制品不可用） 运行一个algo的docker容器里并挂载算法代码（一定要采用python源代码,不能采用cython过的动态库）（参考命令：docker run -it --name one_file -v /home/imsight/one_file/ct_chest_lung_nodule/:/appregistry.xxx.com/softwaredevelop/xxxx/algo:1.7..

tensorflow的官网有一些入门学习例子，但不是所有操作都是100%ok的。tensorflow的MNIST这个例子中，需要下载一些图片。正常的操作，会出现“Not a gzipped file ”的错误。解决方法：手动下载：train-images-idx3-ubyte.gztrain-labels-idx1-ubyte.gz