业界常识
文章平均质量分 88
泰 戈 尔
只有初恋般的热情和宗教般的意志,人才可能成就某种事业。 -- 川哥
展开
-
条形码、二维码、三维码解读
条形码、二维码、三维码解读1 条形码 Bar code1.1 释义1.2 识别原理1.3 编码原理1.4 示例:Code128编码2 二维码 QR code2.1 释义2.2 QR 码基本结构2.3 码元结构2.4 编码规范2.5 活码3 三维码 VR code3.1 释义3.2 拓展元旦假期无聊做了个手绘二维码工具,一直以来都只是用,却对其背后的信息不是很了解,恰逢周末,正好来学习记录一下。1 条形码 Bar code1.1 释义条形码(barcode)是将宽度不等的多个黑条和空白,按照一定的编原创 2022-01-23 14:58:17 · 49197 阅读 · 0 评论 -
APP 免流原理
摘要月底了,因为套餐流量太少,这就又到了流量荒的时候。各大 APP 适时推出自己的免流卡,真是够精准。之前老是听说过免流,但不知道具体是咋实现的,于是下班回家后搜索了一波,做个笔记,赘述如下。市面上的免流类型大致包含两类厂商 APP 免流,大王卡,bilibili 免流卡等,针对特定的 APP 免流。浏览器免流,如 UC 浏览器等,只要是使用此浏览器,全部免流。厂商 APP 免流流程核心在于由软件服务商维护一个免流域名,与中国移动、中国联通、中国电信达成合作后,网络服务商会对请求进行数据原创 2021-06-28 23:12:07 · 5829 阅读 · 1 评论 -
一波小常识,让工作变得更加幸福。
文章目录Markdown折叠功能GitHub 图标Excel 乱码解决技巧HTML 转 PDF今天周六,闲来无事整理下云笔记,分享一波我个人觉得还不错的一些常识。Markdown折叠功能平时在逛 GitHub 的时候,看到有些文档上总有一个叫TL;DR(Too Long; Don’t Read, 太长了,别读)的小链接,点进去会是一个冗长的文档。这一招可以在内容上进行片段分隔,将详细的相关文档的单独拎出去表述,也是比较合适的。但是有时候,Github的README.md文件中,想贴一段代码,又担心代原创 2021-05-22 18:01:08 · 301 阅读 · 1 评论 -
Bilibili 字幕语料库
文章目录0 背景1. 方案汇总2. 可行性分析2.1 tessertart-OCR2.2 音频抽取转换2.3 自有字幕文件3. 字幕语料库构建3.1 获取弹幕信息3.2 转码处理3.3 转换处理4. 语料库建设4.1 构建模型4.2 测试模型5. 预期收益0 背景近期在观看 Bilibili 视频的时候,发现一些 UP 主的视频从内容上来看都很精良,但却似乎少了点什么,粉丝量,播放量都上不去。想了想,是文案!按我的理解,大部分同类型同题材的 UP 主的文案都是类似的,撇开文案版权的问题(毕竟,读书人的事原创 2021-05-11 11:21:47 · 535 阅读 · 0 评论 -
七日年化利率是怎么计算的?
买基金、买理财产品的时候,总会看到七日年化利率 XXX 的信息,这个具体指的是什么,不一定所有人都会计算,然后就搜索了相关的信息,做了下整理。说白了就是365 * 每日收益X-------------------------- * 100% = 年化收益Y本金所以要计算每日收益X的话,就可以换算下公式为:每日收益X = 年化收益Y / 100 * 本金 / 365...原创 2020-12-28 11:08:40 · 807 阅读 · 0 评论 -
关于生产环境打日志的一些思考
文章目录量级等级格式一说起日志,就好比是应了那句话。一千个读者,就有一千个哈姆雷特。相信,每位 RD 兄台都有自己的一套观点。我亦如此,就着最近遇到的一些经历,谈谈自己对日志的一些看法。首先是日志的重要性,没有日志,服务就无从谈起,它是一个系统不可缺少的一个重要组成部分,一般分为两个大类:系统日志:记录系统中硬件、软件和系统问题的信息,同时还可以监视系统中发生的事件。系统日志应用程序运行日志安全日志服务日志:主要是代码运行日志、网站请求等日志可能有人会觉得这两类中有部分内容原创 2020-11-19 20:40:13 · 3043 阅读 · 1 评论 -
wrk 压测笔记
上次写了一篇 locust 压测笔记 开始是部署在自己的本地机器上,办公网测着都没啥问题,但是想部署在开发机上,发现开发机连不上外网,而且只有 Python2 环境,因此离线下载 locust 的路线卡死了。对比了下目前的一些产品,还是决定选择这个小而精的工具了。下载源码、编译、安装git clone git@github.com:wg/wrk.gitcd wrk-mastermakemake install用法简介Usage: wrk <options> <u原创 2020-09-09 19:38:48 · 350 阅读 · 0 评论 -
整理的敏感词解决思路
敏感词的检测与替换,是一个很常见的需求,因此搜了下网上的大致实现方案,这里简单整理下。简单替换正则替换DFA基于朴素贝叶斯分类算法简单替换string = "hello world"string.replace("o wo", "***")类似于上面的代码,我们会使用一个敏感词列表,来对目标字符串进行检测与替换,比较适合于敏感词列表和待检测目标字符串都比较小的场景。正则替换...原创 2019-10-28 16:04:48 · 3454 阅读 · 0 评论 -
Python 微信公众号开发
大三上的时候,对微信公众号开发浅尝辄止的玩了一下,感觉还是挺有意思的。http://blog.csdn.net/marksinoberg/article/details/54235271 后来服务器到期了,也就搁置了。由于发布web程序,使用PHP很顺手,就使用了PHP作为开发语言。但是其实微信公众号的开发和语言关联并不大,流程,原理上都是一致的。快要做毕设了,想着到时候应该会部署一些代码到原创 2018-01-24 22:16:15 · 16386 阅读 · 7 评论 -
一致性哈希原理与应用
因为毕设的需求,项目中要用到Memcache服务,来降低对数据库的请求压力。虽然只有我一个人访问,看起来加不加缓存都没有必要;但是从设计上来讲,一个稳健的服务,没有缓存怎么能行呢?经过一些搜索,发现一致性哈希算法是目前较为流行的缓存服务选择方案。因此来整理总结下,以便于自己的应用。本文代码都放到了gitee仓库,有兴趣的可以拿去测一测。 https://gitee.com/marksin...原创 2018-03-23 13:45:54 · 578 阅读 · 0 评论 -
supervisor笔记
最近写了一个wiki看门狗(wiki-watchdog), 作用就是监控wiki的改动,然后通过钉钉机器人发送到群组。因为脚本健壮性的问题,代码有可能会不定期crash掉,所以需要一个能在脚本crash后及时恢复的服务,查了查发现supervisor挺合适。简介Supervisor是一款用于管理和监控类 UNIX 操作系统上面的进程工具,基于Python开发,典型的Client/Ser...原创 2018-09-04 21:01:32 · 497 阅读 · 0 评论 -
jetbrains系列IDE license免费制作
前言今天偶然看到一篇好文章,至于具体内容嘛,如题。先前没用过jetbrains公司的IDE的时候,觉得还不是这么的依赖它,但是这家伙却能在你用过一次后深深地抓住你的心,从此再也离不开了。1 每次安装好,面对不激活无法使用的弹出框,心里不知道问候了多少次它祖宗,但是没办法,生活还得继续不是,因此再去网上搜索一些免费的license,姑且用着了。2 然而,用着用着,在某一天的清晨,再次打开IDE...原创 2018-09-23 01:57:10 · 1113 阅读 · 0 评论 -
IFTTT
IFTTT 是 If This Then That的缩写,是一款我最近发现的超好玩的服务。简介IFTTT is a free platform that helps you do more with all your apps and devices.IFTTT的设计理念就在于This 和 That,当This发生的时候要出发That形式的动作。举几个例子:比如天气预报说今天有大雾,...原创 2018-11-16 18:29:45 · 5152 阅读 · 0 评论 -
延迟任务的几种实现思路
前言最近有个延迟执行的任务需求,比如发了一个定时红包,服务器不能相信客户端的一切,所以就得做时间的同步,但是PHP相对来讲不是很适合做这种“XX秒后去执行一个什么样的动作这类的行为”,但是这个功能又是不可缺少的,然后就周末花时间调研了下相关的实现。大致有如下几种:借助Redis的sorted_set和hash结构自己写一个定时器,不断“轮询”触发借助语言的异步库借助消息队列等服务。...原创 2018-11-19 13:30:50 · 1265 阅读 · 0 评论 -
贡献代码,保持代码与源库一致
1 瞅准一个感兴趣的项目,fork一份到自己的仓库2 git clone 一份到本地开发环境,3 从源库那里加一个remote repository ,基于这个remote创建一个分支到本地开发环境, 这样每次就可以从源库那里拿到最新的代码。分支的管理着实重要,操作要慎重。4 在本地的这个开发分支上涂涂改改,可以随意的commit,只要不push 这个分支到远端仓库,别人就看不到这些修改,开...原创 2018-12-26 13:31:42 · 534 阅读 · 1 评论 -
佳软分享之markdown
前言我的灵感很多,但是大多数都会随风而逝。原因无外乎以下几点:懒,懒得动手一点点实现。惧,步骤繁琐的内容让人很容易就打起了退堂鼓。“写”的层次上次看到大姐在用MWeb写markdown文本,竟可以在MWeb外开一个本地服务端口进行预览文本,这应该属于我所认识的第二形式。为什么这么说呢,是因为在我的直觉中,写markdown的大致有如下几种:3 不管三七二十一,直接写不预览,成竹于...原创 2019-03-11 19:20:36 · 1352 阅读 · 2 评论 -
WebSocket用Redis实时双工通信
最近在梳理一些知识点,已脱敏并去除公司实现,做一些自己理解上的实践。结构本次打算模拟下一个实时双工交互的业务实践,先来张图。可以看出,实时双工通信的基础在于Redis部分,核心就在于Pub/Sub模型,其余部分在此基础上丰富了交互内容。Server端 ,用于模拟平时业务机器,对来自客户端的Request给予Response。WebSocket Server端,比如直播业务中在直播间内...原创 2019-06-21 11:50:03 · 2883 阅读 · 3 评论 -
MemQ 实现异步任务
这几天在做推送相关的任务的时候发现了一段神奇的代码。$pushmsg = new NormalPushMsg($userid, $content, $clickurl,"");PushService::getInstance()->sendPushToMemq($pushmsg);一开始的时候我还纳闷,为什么不直接发呢,走这么大一圈子弯路到底是为了啥,后来想了想,发送push动辄几十上百万的用户,原创 2017-12-19 15:42:18 · 1248 阅读 · 0 评论 -
获取多台主机命令执行结果
之前在主产品用过一个运维同事写的工具,devpssh。可以通过指定主机列表来执行一条shell命令,然后获取到所有的返回结果,输出到屏幕上。我个人觉得这个工具很实用,尤其是在有多台Nginx服务器的时候,由于负载均衡策略下,不同的请求可能会被下放到不同的get机,因此产生的日志文件就可能分布在多台机器上。如果我们一个个地到每台get机上去执行shell语句。首先工作量会很大,另外获取到的结果也不容易原创 2017-12-05 15:59:24 · 1554 阅读 · 0 评论 -
《提问的艺术》读后感
前言提问前他明明能帮到我却不帮我提问前必知必会的一些事关于搜索引擎提问时找准对象学会停顿组织你的问题清晰的发问低声下气代替不了做自己的家庭作业删除无意义的要求不要把问题标记为紧急 即使对你而言的确如此礼貌总是有益的对待无礼提问禁区总结前言众所周知,你所提技术问题的解答很大程度上取决于你提问的方式与解决此问题的难度,但是怎么清楚的让有经验的人明白你表述的问题,让你获得最转载 2017-02-25 15:02:50 · 11673 阅读 · 1 评论 -
绕开500D收费简历制作的关卡
写在前面环境准备开始吧制作简历获取pdf修修补补结果展示总结写在前面又到了一年一度准备简历的时候了,一个布局优美,样式良好的简历无疑是加分项。但这要实现起来却很难。大部分人都是在网上随便下载一个简历模板,涂涂改改,草草了事。或者自己下了大功夫,花了很多时间,因为没有“美工”的眼光或者技术,做出来的效果却不能差强人意。近来我本人在网上发现了一个很好的网站 http://www.500d.原创 2017-03-03 17:00:51 · 8278 阅读 · 1 评论 -
Apache 常识小札
前言默认首页及网站路径设置默认首页默认网站禁止显示目录试水设置淌水篇额外设置只允许或者禁止某个域名进行目录访问禁止某些文件访问禁止访问某些文件禁止对常见图片的访问针对URL相对路径的禁止访问针对代理方式禁止对某些目录的访问总结前言Apache不仅在飞机上有很好的评誉,在服务器这块想必也是家喻户晓了吧。但是很多情况下,开发人员对于apache服务器的了解并不是很多,或许只是原创 2017-01-30 21:58:07 · 6318 阅读 · 2 评论 -
PHP 伪静态
前言PHP 伪静态使用apache实现伪静态第一步httpdconf去注释第二步更改重写权限第三步按需添加伪静态规则重写规则详解入门级 RewriteRule indexhtml indexphp菜鸟级 RewriteRule index-a-z0-9html indexphpname1进阶级 RewriteRule a-z1-0-91html indexphpname1age2原创 2017-01-28 18:17:33 · 7943 阅读 · 0 评论 -
DWR3.0 服务器推送及解惑
前言环境搭建建立工程jar包填装下载dwrjar下载commons-loggingjar项目目录webxmldwrxmljava文件jsp页面调试运行文字展示图片展示解惑篇关于自动生成的js文件如何配置页面脚本客户端怎么调用服务器端方法总结前言昨天晚上偶然咋慕课网上看到了一个DWR的视频,一开始我还以为是DreamWaver的缩写,后来发现我错了,原来人家是Dir原创 2017-02-17 10:42:59 · 9121 阅读 · 16 评论 -
代理IP 有效性检测
摘要原理服务器端_SERVER脚本客户端urllib2requests完整代码演示提示清洗效果总结摘要昨天下午的时候,真的是无语至极。本以为CSDN上博友们应都是与人为善类型的。没想到都博客专家级别的了,出口竟是如此不堪。难道请教问题就得是一副高高在上,别人必须给你解决问题,给你代码吗?对于此类人,我不做过多评价。我只会在心里默默说一句,好自为之吧。希望此后永远不会有交集!言原创 2017-01-07 12:17:52 · 37718 阅读 · 2 评论 -
解决服务器上部署PHP程序异常
服务器环境部署遇到的问题解决方案MySQL拓展代码缺胶水总结今天记录一下,在部署PHP程序的时候遇到的一个小问题。服务器环境操作系统: 阿里云学生机 Ubuntu14.04服务器: Apache2PHP版本: php5数据库: MySQL5.2.3部署遇到的问题在本地调试完成之后,大致的测试了一下。发现没什么问题。但是上传到服务器上就会出错。 错误码: 500服务器内部错原创 2016-12-13 19:02:22 · 7208 阅读 · 0 评论 -
知识共享许可协议
最近跟CSDN的其他博乐一起交流的时候,普遍的发现大家的文章被一些不是很出名的网站给爬取了。有些网站还做了水印处理,直接的就把文章变成他们的了,这对于作者而言,在没有任何授权的情况下就直接使用,也算是一种侵权行为了。国内对于知识产权的保护意识还不是很强,但这对于每一个人而言都很重要。真实案例我的亲身经历之前写过一篇文章,PHP针对多用户,实现头像更换 。始发于咱们的CSDN,也仅仅只在CSDN上发表原创 2016-08-27 22:42:27 · 9473 阅读 · 1 评论 -
Java String 真的是不可变的吗
前言起因深入源码真的不可变吗总结前言这两天在看Java面试相关的一些问题,很偶然也很幸运的看到了下面这篇文章。 http://blog.csdn.net/zhangjg_blog/article/details/18319521这篇文章的作者有一系列关于Java深入学习的文章,很值得一看,个人觉得非常好,很有收获。看完那篇文章有一段评论让我很有感触。忍不住写了点代码做了下测试,加以验证。起原创 2017-03-08 15:52:44 · 7597 阅读 · 0 评论 -
Python 模拟登录知乎
前言必备知识点headersRefererUser-Agent隐藏域其他模拟登录模拟防爬服务器端loginphploginhtml浏览器测试正常提交用户名密码的话如下用户名或者密码填写错误的情况如下爬虫没有添加隐藏域时添加了隐藏域的爬虫知乎模拟登录更新版知乎模拟登陆代码部分验证效果总结前言前天看到一个爬取了知乎50多万评论的帖子, 羡慕的同时也想自己来尝试一原创 2017-04-07 17:03:51 · 13214 阅读 · 48 评论 -
Charles配置抓包HTTP,HTTPS
之前在Windows上使用的一款抓包神器叫fidder,真的算是一款神器了。当前了Mac上也有不输fiddler的抓包神器,那就是Charles。下载安装什么的,这里就不多说了,下面聊聊怎么配置Charles实现对HTTP和HTTPS接口的抓包吧。配置HTTP配置HTTP形式的抓包是很简单的,下面来具体看下都需要哪些操作。打开Charles依次点击:(菜单栏)Proxy–Proxy Settings原创 2017-10-12 23:03:49 · 1451 阅读 · 0 评论 -
谈谈反爬虫“政策与对策”
写博客,一部分是为了让自己今后能快速地复习之前学过的知识,整理下思路;另一方面是帮助到其他也遇到类似问题的童鞋。但是写博客很难坚持下来,原因嘛,各种各样。但说到底是没有“共鸣”。高山流水,难觅知音。其实,建立起写博客的习惯,就是那些点点滴滴的小事:每天看着博客的访问量,点赞数增加;看到自己的文章被别人评论等等。好了,废话不多说。今天来谈谈关于刷浏览量的问题。虽然这远远的偏离了写博客的初衷,但是了解下原创 2017-10-07 09:48:05 · 10798 阅读 · 14 评论 -
Nginx-一个IP配置多个站点
对于Nginx,一个IP上配置多个站点还是很常见的。尤其是在开发环境上,更是如此。下面在我的阿里云上简单的实现这样一个需求: 在一个IP上通过对端口区分来配置多个站点。环境初始化目录一览配置站点准备添加配置文件疑难杂项fastcgi_passNginxphp-fpm的进程间通信有两种方式总结环境手头上正好有一台阿里云学生机,趁着没过期,就拿来用吧。操作系统:centOS7p原创 2017-09-03 12:10:48 · 35929 阅读 · 7 评论 -
ctags,cscope,nerdtree,tmux 笔记
打造一个基础的VIMer需要配备的环境,开不开ctags, cscope(需求不大的时候也可以忽略), nerdtree,tmux。下面整理一下我的配置过程,以备不时之需。ctags相关首先肯定是下载安装了。这点不用多讲,根据自己的操作系统或者平台,使用相应的包管理工具或者源码编译安装都可以。下载完之后,在想要使用ctags帮助查找的文件夹(一般是项目的根目录)下输入如下命令:ctasg -R命令执原创 2017-09-16 16:37:20 · 9318 阅读 · 5 评论 -
图解VIM常用操作
入职差不多3周多了。接触了很多之前在学校接触不到的人,工具。这3周以来,我就好像是那“进了大观园的刘姥姥”,看什么都觉得新奇。尤其是看到组内大佬们都不用IDE,要么VIM,要么EMACS。而且用的真的很溜,让我佩服之极。今天趁着周六,我也来总结一下这几天我学到的关于vim的一些操作吧。都说VIM的门槛很高,我想有可能是没找到合适的办法吧。通常用苍白的语言去陈述,效果确实不好,但是加上一个生动的gif原创 2017-08-26 14:01:12 · 7722 阅读 · 13 评论 -
Web访问控制
最近某婚介公司的实习生赵大胖的领导姚无发给赵大胖安排了一个任务:给网站加上访问控制,游客不能访问看到美女的资料,只有注册的会员才能浏览。赵大胖一时没有很好的思路,然后找到了研发组大佬老郑头。老郑头毕竟是在web开发领域混迹了多年的老泥鳅了,对这块还算是比较了解。但是为了在小弟面前显摆显摆,就跺着八字步走到了阳台,颤抖着点燃一支烟,放到嘴边狠狠抽了一口,长长的吐出一口气之后,凝望着远方,深邃地说:请原创 2017-07-13 16:14:30 · 9791 阅读 · 9 评论 -
爬取微博用户数据
前言查找的过程核心总结前言微博数据基本上可以说是社交圈里面最大的了。但是单纯的使用urllib,是不足以获取数据的。今天来使用Cookie的方式绕开微博权限验证这一关卡, 爬取一下数据。查找的过程打开Chrome 的F12之后,刷新页面,真的是眼花缭乱的数据流啊,飞流直下。找了好久,发现大部分数据都是通过JavaScript脚本渲染到页面上的。这也就是为什么单纯的使用urllib抓不到的原因了原创 2017-05-21 20:34:06 · 9413 阅读 · 1 评论 -
Nginx 从零搭建
前言准备篇搭建篇安装虚拟机安装Nginxpcre安装zlib安装openssl安装安装Nginx安装Apache配置验证篇NginxServerAServerBNginx配置之后总结前言“觊觎”Nginx其实已经很久了,但是之前一直忙着准备找实习啊,各种考试啊什么的,也没有时间。恰好最近空了出来,就浅浅的学了一点关于Nginx的知识,顺便搭建了一个模拟的负载均衡,反向原创 2017-05-04 16:04:27 · 6631 阅读 · 0 评论 -
开源许可证 分类剖析
世界上的开源许可证,大概有上百种。很少有人搞得清楚它们的区别。即使在最流行的六种—-GPL、BSD、MIT、Mozilla、Apache和LGPL—-之中做选择,也很复杂。 乌克兰程序员Paul Bagwell,画了一张分析图,说明应该怎么选择。这是我见过的最简单的讲解,只用两分钟,你就能搞清楚这六种许可证之间的最大区别。 转自:阮一峰 http://www.ruanyifeng转载 2016-08-27 21:41:43 · 6761 阅读 · 0 评论