![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工作记录
文章平均质量分 81
鱼香土豆丝
土豆丝很好吃
展开
-
减小 Docker 镜像体积的一些经验
文章目录背景前车之鉴经验分享善用docker commitdev, release 协同打包多用ldd部分命令放到启动上字体缓存python总结背景docker的部署是如何的方便也已经不用这里来阐述了把, 运维人员只要配好配置,一个load 一个run 就将应用起来了, 但是存在一个问题, 有时候一不小心打出的镜像尽有好几个G, 发包难, 接收难。如何在打包的时候获得一个尽可能小的镜像呢?这就是这篇文章分享的一些点。前车之鉴关于如何减小docker 的体积, 通过网上搜索一些文章了解到一些方法,总原创 2021-01-10 17:18:06 · 993 阅读 · 0 评论 -
docker exec 执行脚本失败解决
文章目录背景介绍原始脚本问题定位1. 脚本书写不规范2.启动参数有问题修改过程背景介绍docker容器里有一个脚本,需要在使用的时候在后台运行,但是通过docker exec 调用这个脚本却一直得不到想要的结果,于是开始了探究之路!原始脚本docker exec -it service_name /bin/bash -c '/opt/start.sh'这个start.sh的作用就是在后台启动两个服务#!/bashnohup start1.sh > start1.log 2>&am原创 2021-01-10 14:00:39 · 3875 阅读 · 0 评论 -
聊一聊那些激活函数
文章目录神经网络和神经元激活函数为什么要用有什么激活函数重点介绍MishSigmoidTanHReluLeaky ReLUSoftPlusBent IdentitySwish如下为上述激活函数的可视化图如何选择神经网络和神经元如今,一说起人工智能,都会说两句深度学习大法好!说起深度学习就不得不提起神经网络,不管是之前的BP(back propagation),还是现在的CNN(Convolutional Neural Networks).都是一种仿生设计,模仿的人类的神经元处理过程以及眼睛的局部感受野。原创 2021-01-01 14:36:47 · 2829 阅读 · 1 评论 -
如何评价文档图片的相似度
背景介绍给出一张文档材料,如何在一大堆的材料中做文档图片的比对呢? 给出这个问题的同时,我想到了各种图像相似度计算方法, 各种距离方法。然而,我忽略了文档图像的本质。什么是文档图片文档图片也就是我们经常看到的扫描件吧,他和我们常见的照片还是有很大的。照片的元素丰富,而文档一般只有文字、表格、图片,还有一些附件信息组成。文档图片还有的特点就是背景负责,同一份文档,通过不同设备的采集,所附加的噪音可能大不相同。还有采样设备的差异,导致采样率差距很大,采集的图片大小不一致。还有一种情况,同一份文档,有的文档原创 2020-11-28 22:42:15 · 337 阅读 · 0 评论 -
我们所熟悉的文档是由什么组成的?是如何实现排版的?
背景这段时间对一些文档的标准做了一些研究,今天呢做一个简单的总结,这里给大家做个简单的介绍文档的组成如果问一个人,一个文档由是由什么做成的,收到的答案可能是千奇百怪的:文字图片表格贴画艺术字高亮批注签名…但是仅仅对于显示来说,其实只要由三种类型就够了,他们分别是图片文字图形这里的图形和图片不是一种东西吗?当然不是,图片就是我们所了解的图片,而图形是指一系列坐标和控制点组合而成的元素,这里可以类比到svg(可缩放的矢量图形),是不是word在放大过程中文字不会失真,而图原创 2020-06-07 14:22:14 · 429 阅读 · 0 评论 -
一个转义字符引起的。。
背景今天一直在排查一个问题,同样的配置,为什么有的机器读出来是正确的,有的机器则不能正确解析,通过不断的思考验证,发现是一个因为转义字符引起的问题。特此在这里记录一下配置文件格式与读取过程配置文件是一个文本文件,里面是一行行的键值对类似于这样的aaa bbbaaa bbbaaa bbb解析配置文件的代码是通过字符串的拆分进行的,简单来说就是:String[] kvPair = config.split("\r\n")for(String kv:kvPair){ Str原创 2020-06-04 20:43:14 · 153 阅读 · 0 评论 -
硬章图片的透明化【抠图】java/android实现
背景在实现图片硬章插入文档的时候,遇到了如下的问题。 给出的硬章的背景是白色的,并不是想要的透明色。这样有什么影响呢?这里贴一个图片可以进行观察。你觉得对于硬章来说是透明色更接近现实情况呢,还是直接贴图好呢?思路介绍对于硬章图片,需要把他的白色背景,或者说是浅色背景扣调,也就是在白色或者接近白色的地方(255 255 255)给他的alpha 通道设置成0,对于有信息的地方(深色)alpha设置255,这样就是实现了硬章抠图。避坑如果是用opencv 实现的话也没有什么好写的,这里主要使用ja原创 2020-06-03 20:50:36 · 625 阅读 · 2 评论 -
软件工程化的一些思考
目录背景介绍为什么要做工程化一些需要工程化的点一般软件依赖软件的各种部署与配置线程池大小以及超时的配置软件启动脚本的自动化机器学习相关显存的控制多节点的启动tenosrrt 量化与加速总结背景介绍之前一直在做项目的工程化,导致很久没有写博客了,就在上周已经顺利的发版了,涉及的项目有一个一般的分布式项目,还有一个机器学习集成平台,今天就总结一下工程化中的一些经验。为什么要做工程化一般的开发流...原创 2020-05-04 11:25:32 · 659 阅读 · 0 评论 -
2020你好!(工程师的自我感受、反思与总结)
总结20192019年是正式参加工作以来的第一个年头,感受颇丰!我在公司的工程应用实验室任职,想当然,主要是把一些研究成果工程化,以为公司赚取利润。这一年来,参与的项目有CV方向的,也有NLP方向的,也有侥幸获奖的,也有只铺路不赚钱的。总之对“公司”这个词的有了深深的理解!下面说几点感受吧感受成本预算:公司是获取利润的地方,相比于学校,我们有更少的试错机会,所以在预研或者调研的时候要尽可能...原创 2020-01-01 14:33:23 · 1029 阅读 · 2 评论 -
springboot 调用opencv错误解决(终极方案)
背景为什么标题不叫java调用opencv?这个问题很玄学,先简单的介绍下背景,在一个springboot项目中需要使用opencv 处理一下图片,因此编译好,opencv,导入库中,然后链接上dll,本地测试的时候还是报错。java.lang.UnsatisfiedLinkError问题排查首先搜了很多的相关问题的答案,从百度到谷歌,从博客到官网,能搜到的都搜了一次,相关解决方案是没有导入...原创 2019-11-20 20:20:11 · 2052 阅读 · 5 评论 -
文档图片该如何治理?
背景随着信息化的力度的加强,生活中各种各有那个的文档都进行了数字化,常用的处理数字文档的软件有扫描全能王,名片管家等。随着文档的增多,我就在想,如何能自动化的快速的治理这些图片!这里就先介绍下我的思路整体流程想要治理这些图片,首先就的知道治理那里,因此就的有一系列的检测服务,接下来就是治理流程。通过分析很多的电子文档图片,我觉得主要有如下地方需要检测并治理拍照角度不好,产生梯形拍照抖动...原创 2019-11-12 23:37:37 · 145 阅读 · 0 评论 -
超时太长会怎么样?
今天根据测试的反馈遇到一个小问题-超时nginx设置的超时时间是5分钟,但是测试上传的文件比较大,后台处理时间比较长,导致请求一直失败,通过查日志,发现是nginx超时!把nginx的时间调大后效果果然好了,但是一个问题就来了,如果增加了超时时间,那么会带来什么?首先能想到的是前端可能一直获取不了信息。还有一点就是可能会使连接池爆满,新的链接进不来。以TOMCAT为例,大家都知道,连接池的...原创 2019-11-11 23:16:58 · 1363 阅读 · 0 评论 -
ARM 安装python 库【numpy,scipy,sklearn,skimage 】
背景程序中加入了一些新的功能,引入了一些新的包,docker build 的时候需要加入这些包,X86的包可以直接下载whl,但是再ARM 架构下,使用pip却一直安装不上,因此,需要解压开文件进行源码编译。步骤一般的安装方式pip install -y numpy pip install -y scipy==1.1.0pip install -y pip install scikit...原创 2019-10-14 09:16:05 · 9832 阅读 · 3 评论 -
记一次”高可用“分布式服务环境搭建
背景前不久开发了一款文档相关的服务,服务设计文档的生成以及显示,上线一段时间后,有人居然反映处理能力达不到他们的要求!!根据我们的测试结果,满足50人同时使用是没有问题的,客户就是上帝,赶紧提升服务能力。方案构思如何提高生成能力以及如何实现高可用的生成与展示是个问题!首先对现有的过程进行分析。现有的流程分析文档的生成流程:用户在B端上传指定的材料S段处理请求,把结果save 到se...原创 2019-09-07 18:32:04 · 144 阅读 · 0 评论 -
flask编写RESTful API
RESTREST(Representational State Transfer)是一种架构风格,表述了网络中客户端于服务端的一种交互,REST本身是不实用的,关键的是如何设计它。REST架构就是为了HTTP协议设计的。RESTful web services的核心概念是管理资源。资源是由URIs来表示,客户端使用HTTP当中的’POST,GET, PUT, DELETE’等方法发送请求到服务器...原创 2019-03-31 19:54:38 · 267 阅读 · 0 评论 -
nvidia-docker 启动的时候报错: legacy plugin: plugin not found
通过rpm包安装nvidia-docker后想要启动一个应用结果显示如下的错误:Error looking up volume plugin nvidia-docker: legacy plugin: plugin not found遇到这个错误不要惊慌,不要难过,这提示的意思是没有找到插件,仔细想想安装好后是否启动了服务?如果是在想不起来,那就检测一下服务吧!检测命令如下:sudo sy...原创 2019-03-29 08:37:22 · 3482 阅读 · 0 评论 -
程序员遇上了辅导机构顾问(交谈有感)
因为自己在一次活动中留下了自己的电话号码并且表示有学习英语的意愿,就不断的接到辅导机构的电话,每家机构都约我到最近的一家机构去做试听,只可惜在工作日的时候每天下班就不早了,从公司感到机构就不早了,就一直没有答应去试听,知道一天,那天下班比较早,就随口说周一晚上过去,可是周一下班依旧有点晚,可是机构老师还是耐心的给打电话带路,碍于面子,还是答应了老师,尽快过去。去了机构后接待我的是该机构的校长,将...原创 2019-04-13 21:14:30 · 166 阅读 · 0 评论 -
python把字典转化为json的时候出现的编码问题
python虽好用,编码愁死人做一个服务,需要把数据以json的形式发送出去,服务端写的时候是先把数据保存到字典里,然后通过json的dumps()转化为json ,这里就需注意dumps的具体用法,如下例子所示:import jsonjson.dumps("中国")这里输出的是汉字的ascii码,想要输出汉字就需要把参数设置好ensure_ascii=Falsejson.dumps...原创 2019-04-17 19:53:32 · 5281 阅读 · 0 评论 -
解决docker中中文显示的问题
docker 镜像中遇到了中文乱码无法显示的问题,通过export LANG虽然可以暂时性的解决问题,但是docker 重新进入的话就又开始乱码了,通过半天的摸索,借鉴别人的资料,解决了这个问题。centos在Dockerfile中添加这么几行FROM registry.thunisoft.com:5000/arm/jenkins:latestRUN localedef -c -f ...原创 2019-05-15 13:01:05 · 2488 阅读 · 0 评论 -
docker删除tag为none的镜像
docker 使用一段时间后,会因为某些操作,产生很多tag为none的镜像,随着时间的推移是越来越多,如何清理成为一个问题:windowsdocker rmi -f $(docker images --filter “dangling=true” -q --no-trunc)Linuxdocker images|grep none|awk '{print $3}'|xargs doc...原创 2019-05-24 10:52:23 · 5826 阅读 · 4 评论 -
团队协作-----文档的重要性
背景很近没有记录自己的状况了,很多人都发来私信问我干嘛去了。我是去参加了一个由十几家公司配合的大项目,作为参与方,需要和各方进行协调讨论,加班为常态,每天都有小汇报,每周都有大总结。但是反思整个过程,依然觉得还是很操蛋。为什么这么说了?听我一一道来!过程简述该项目是一项有某大型单位主导,由10几家企业参与的较为大型的项目,这个大型,我觉的只是参与方较多,系统总体规模来说,我觉得只是算得上是中...原创 2019-07-13 14:17:43 · 235 阅读 · 0 评论 -
java 保存图片的一些坑!
背景最近的一个项目因为耗时太长让人吐槽了!追查代码,原来是一句保存图片太耗时!ImageIO.wirte(image,"png",output);ImageIO.write写png真实效率低的很,耗时太长,1M的图片耗时居然达到秒级!这时候你也可能会问,那jpg效率怎么样呢?当然!jpg的写还是很快的!当时为什么不用jpg?反思当时写代码时候的想法,为什么要使用png,而不适用更块的...原创 2019-07-27 15:30:31 · 589 阅读 · 0 评论 -
【基础不牢,地动山摇】K近邻算法--KNN
什么是K近邻算法?K近邻是最为基础的分类和回归算法!他的基本原则就是:对给定的训练实例点和输入实例点,首先确定输入实例点的kkk个最近邻训练实例点,然后利用这kkk个训练实例点的类的多数来预测输入实例点的类。简单的说就是近朱者赤,近墨者黑。该点周围的K个点绝大部分是红色的,那么它是红色的概率也大。如果绝大部分是黑色的,那么它也极有可能是黑色的!KKK近邻三要素kkk近邻法三要素有:距...原创 2019-07-28 14:30:59 · 132 阅读 · 0 评论 -
用java实现一些距离
用java 实现一些距离度量import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.util.List;public class Distance { private static final Logger logger = LoggerFactory.getLogger(Distance.class)...原创 2019-07-28 14:50:14 · 257 阅读 · 0 评论 -
python 简单的实现NRSS 无参考图片质量检测
NRSS 算法流程实现过程中的说明在实现过程中发现如果步长设置的小,算法运行的特别慢,达不到性能要求啊,于是用等分图片试了试。直接参考程序吧。code#encoding=utf-8import cv2import numpy as npfrom skimage.measure import compare_ssimdef gauseBlur(img): img_...原创 2019-08-11 17:23:56 · 2624 阅读 · 1 评论 -
opencv的跨平台的安装以及多版本并存
背景遇到一个奇葩的项目,有的程序里调的是opencv2.4.13的版本,有的程序里调的是opencv3.2的版本,真实有意思!程序员天生就是为解决问题而生的!想想该怎么解决吧!因为本人也是接触opencv 不太久,之前接触的用的还是python接口。接下来我将简单的阐述一下我解决这个问题的过程,仅此记录一下这个过程。解决的想法变化1.想到高版本可能向下兼容。这是我最初想出来的办法,现在...原创 2019-03-31 16:43:06 · 670 阅读 · 0 评论