随记
中国小宝
为 API 生,为框架死,为 debug 奋斗一辈子
展开
-
Github解除账号被封的方法
1.事由 9月8日下午,往GitHub发布了个项目。也不知道为啥,GitHub账号突然登陆不上,社区登录界面提示:2.处理过程 真是莫名其妙啊!没办法,按照上面说的给社区管理员发了一封邮件,请求帮忙恢复账户。于是等啊等啊等................... 3.结果 等到第三天,GitHub有位叫劳里的哥们给我发邮件,道歉称系统判断失误。简直是...原创 2018-09-10 21:12:02 · 23383 阅读 · 8 评论 -
根据HSV分量模型,提取红色的几种方法介绍
根据hsv分量模型,各种颜色范围分布如下:红色的范围是:[0, 43, 46]~[10,255,255]∪[156, 43, 46]~[180,255,255]。红色比较特殊,覆盖了多个范围,处理起来增加了不少难度,以下介绍两种方法去获取红色。方法1:import cv2import numpy as npdef extract_red(pic): '''...原创 2019-03-19 18:50:10 · 15832 阅读 · 3 评论 -
redis包版本更新造成的问题记录
使用redis包过程中出现如下问题:Traceback (most recent call last): File "Check_UaPool.py", line 92, in <module> r.srem(REDIS_KEY,IP) File "/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/re...原创 2019-02-15 17:23:10 · 616 阅读 · 0 评论 -
中文语序识别的方法一
一、前言 语序识别的两个思路:1.依据分词器收录的词语进行匹配查询; 2.依据海量词向量进行预测实现。二、主要思路 本文用第一种方法实现一下,主要思路如下:1.检查输入的字符串,并将各字随机排列组合生成不同的“词语”;2.将1中的词语在分词器的词库中进行匹配,返回词频;3.选择词频最大的词语作为正确的语序进行返回。三、实现代码impor...原创 2018-12-02 22:38:04 · 2088 阅读 · 0 评论 -
nginx添加ssl证书
1.为什么使用ssl证书数据加密传输,防止窃听 可以进行数据完整性检查,防篡改 可以进行身份验证,防冒充提示:登陆时用HTTPS可以防止别人截获用户名和密码1.1 lnmp安装未安装lnmp环境的,可以点击安装地址,进行安装1.2SSL通信过程客户端向服务器发请求,请求证书 服务器把证书发给客户端 客户端对比证书,成功进入不一步,否则告警 服务器收到对称密钥后保存,...转载 2018-11-29 10:10:25 · 896 阅读 · 0 评论 -
windows环境Python调用opencv出错的问题记录
1.报错现象使用cv2进行图像腐蚀时报错,版本号 3.4.3,如下:>>> erosion = cv2.erode(src,kernel)Traceback (most recent call last): File "<pyshell#22>", line 1, in <module> erosion = cv2.erode(sr...原创 2018-11-17 11:58:10 · 644 阅读 · 1 评论 -
图像腐蚀与图像膨胀(Python篇)
在大学期间积累过一定的图像处理经验,OCR技术在我的日常工作中偶尔会用到,还是比较重要的。本文介绍图像的膨胀和腐蚀的基本概念及其各自的代码实现。 1.膨胀和腐蚀的基本概念 图像的膨胀(Dilation)和腐蚀(Erosion)是两种基本的形态学运算,主要用来寻找图像中的极大区域和极小区域。其中膨胀类似于“领域扩张”,将图像中的高亮区域或白色部分进...原创 2018-11-17 11:45:07 · 38544 阅读 · 2 评论 -
使用elasticdump的方法进行跨地域的elasticsearch集群间数据迁移
1.提示需要账户和密码elasticdump --input http://es的ip:9200/test_xd --output ./test_xd.jsonWed, 21 Nov 2018 05:06:10 GMT | starting dumpWed, 21 Nov 2018 05:06:10 GMT | Error Emitted => {"error":{"root_c...原创 2018-11-21 13:14:28 · 4006 阅读 · 0 评论 -
MongoShake——基于MongoDB的跨数据中心的数据复制平台
摘要:MongoShake是基于MongoDB的通用型平台服务,作为数据连通的桥梁,打通各个闭环节点的通道。通过MongoShake的订阅消费,可以灵活对接以适应不同场景,例如日志订阅、数据中心同步、监控审计等。其中,集群数据同步作为核心应用场景,能够灵活实现灾备和多活的业务场景。背景在当前的数据库系统生态中,大部分系统都支持多个节点实例间的数据同步机制,如Mysql Master/Sla...转载 2018-11-20 20:30:32 · 619 阅读 · 0 评论 -
Django中如何写Ajax请求及CSRF认证
最近下雨没有去学车,无聊在学习django,记录一下。两个内容:Ajax和csrf。是post请求就要进行csrf验证,get请求则就不需要。如果不清楚csrf_token的使用,就会遇到“django csrf token missing or incorrect”的错误。一、Ajax请求1.1 GET请求的Ajax路由url.py配置:## Django ur...原创 2018-11-18 22:19:31 · 2199 阅读 · 0 评论 -
Python代码风格指南&编程规范
1 前言 纷吾既有此内美兮,又重之以修能。 ---- 屈原《离骚》 1.1 编写目的 本文用于指导我司使用python语言进行开发的人员。1.2 范围 测试人员、开发人员以及其他python语言使用者。2 简介 很多语言都有自己独有的编码风格,python以简洁优美著称,当然也不能例外。如果和本文规则发生任何冲突,...原创 2018-10-23 14:55:02 · 4501 阅读 · 0 评论 -
解决jekins发布权限不足的问题 ERROR: Exception when publishing, exception message [Permission denied]
用jenkins打包往各节点自动发布代码时,遇到如下问题:eie_info\\middlewares\\redirect_middleware.py', 'A eie_info\\middlewares\\user_agents.py', 'A eie_info\\scrapy.cfg', '已导出版本 37042。']export success in mo...原创 2018-10-17 20:14:02 · 22513 阅读 · 1 评论 -
定期清空大日志文件
过完十一假期来发现,节前部署的十台服务器磁盘都占满了,导致各节点的服务都停止了。吃一堑,长一智。于是今天写个shell脚本定期清空日志文件,这里不要用删除,以免影响到正在启动的服务。1、确定大日志文件的路径 用find 指令找一下就可以定位到需要清理的日志,如下查找的 / 目录下大于50M的文件find . -type f -size +50M2、清...原创 2018-10-08 21:15:13 · 1445 阅读 · 0 评论 -
jenkins 自动打包部署爬虫项目
最近因工作需要,负责看护公司的生产环境,有16台生产服务节点,所以必须得引入自动化管理工具,不然我可不得累死啊。本文记录一下在使用Jenkins发布过程的整个过程。1.启动Jenkins服务2.登陆网页3.配置3.1点击选择“配置”3.2添加项目描述3.3 添加项目名称3.4配置SVN路径3.5配置SVN账户3.6是否打基...原创 2018-09-14 21:21:11 · 1000 阅读 · 0 评论 -
Java中如何处理带双引号的字符串
Java中char是用' '单引号,字符串用" "包起来即可。但是今天恰逢遇到要用Java执行js代码,因为两种编程语言间格式的差异,让我不得不处理字符串中带双引号的问题。Python中有''' '''三引号,实现多行注释,迫切希望Java中有一天能更新上此特性。话不多说,看看代码吧。处理前:运行报错:Multiple markers at this line - ...原创 2018-09-18 19:01:11 · 21205 阅读 · 0 评论 -
快速搜索性能问题调研
最近因为项目需要做搜索,安排我对搜索的性能这一方面做调研。本文档调研了simhash和es为代表的搜索方案。用Simhash和ElasticSearch做搜索各有优缺点,综合来看可这么标签:Simhash是偏计算密集型的搜索方案代表,但算法方案复杂;ElasticSearch是IO和硬件消耗大的搜索方案,但易用性更高;因为精力资源有限,不能亲自搭建上述方案进行实际测试对比,后续条件成熟可以...原创 2018-09-18 18:26:49 · 512 阅读 · 0 评论 -
监控服务进程,进程挂了后就自动重启
背景生产环境中写Hbase性能较差,故开启了三个Hbase.thrift接口,通过haproxy负载均衡去写。今日发现有两个thrift写挂了,仅单个thrift能支撑写入9G的数据量,服务上线11天来首次挂且hbase服务还在,对此问题进行观测,故对此架构不做调整,写个shell监控服务,并监控重启服务即可。进程监控shell脚本:supervi...原创 2019-08-21 11:33:33 · 1629 阅读 · 4 评论