两种方法部署你的代码 1.CI way 运用jenkins一类的自动化部署工具，我们只用更新代码到repo就可以了，之后的代码打包，拉取，解包，启动都是jenkins搞定2.人工部署 现在很多情况下自己都太过依赖自动化部署工具了，如果jenkins出问题了而又急着部署真的有点不知所措，其实可以回归原始手工部署的办法:用git archive –format=tart HEAD | gzip > foo.tar.gz,
高频访问IP限制 --Openresty(nginx + lua) [反爬虫之旅] 前言嗯….本人是从写爬虫开始编程的，不过后面做web写网站去了，好了，最近web要搞反爬虫了，哈哈哈，总算有机会把之以前做爬虫时候见识过的反爬一点点给现在的网站用上了~ 做爬虫的同志，有怪莫怪喽~还有求别打死 > <首先要提一下AJAX，现在普天下网页几乎都是往特定的数据接口请求数据了，除了什么首屏渲染这种服务端渲染好html以外，几乎没有什么静态网页了。我看了有一些帖子说AJAX让爬虫难做，可是我
Ubuntu上装windows10结果进不到Ubuntu了- -|| 前言感觉好久没有写博客了，最近都在忙工作，然后也在搞离校的事情，大学毕业嘛，杂七杂八的事情接踵而至，而最近又多了个搬家的任务，所以博客感觉荒废了很久，其实最近也有挺多东西想写下来的，但是感觉短时间内总结不完，所以只是在草稿写一点是一点，而没有post出来。 事情是这样的，昨晚回到宿舍，然后见到一群人围着俺们舍长，俺们舍长原本被我安利linux，所以就把windows删除了，只是留了个ubunt
pyenv+virtualenv+virtualenvwrapper轻量级python环境管理 前言今晚帮一个童鞋解决需求，无意中把最近用到virtualenv,virtualenvwrapper用了起来，又知道了原来还有pyenv这么一个东西，感觉这样的python环境控制有必要再来一写，因为对比前面写到的一篇Docker+Git效率工作的docker我感觉就python开发而言，虽然docker能牢牢管住整个软件以来环境，但是现在时间一长，我倒是觉得每次都要进去docker做操作测试
sql复杂查询 前言 前面的一篇文章写了下数据库设计和SQL语句基础，里面都是简单的增删改查，而且对最重要的查询也没有深入研究，实在是罪过，那么本文就sql复杂的查询语句进行探讨，也是当作一个记录好了复杂查询No.1假设我们现在有张这样的score表(sn表示student_name学生姓名，cn表示课程class_name名字，sc表示score成绩) sn cn sc 光头 语文 9
Linux命令'门' 前言 之前的当Kali Rolling作为笔记本唯一一个系统提到的都是一些linux表面的东西，只是适合过渡期用，但是这并不是linux美的地方，它还有许多好玩的地方，所以就想专门留一篇记录一些linux命令，当作是[当Kali Rolling作为笔记本唯一一个系统]的升级版 其实也有想过针对不同的领域功能和具体使用场景分类，但是按照现在看来，虽然把linux当作唯一的系统了，但是我仍然不是
Docker Registry--私有docker站 前言原来一直用的是docker hub来push和pull自己的镜像，可是国内pull/push到dockerhub速度实在不敢恭维，而且经常出现handshake timeout的问题，所以思索着能不能有国内的镜像源选择，daocloud是不错的国内选择，可提供pull的镜像也挺多的，但是pull可以，push得另外收费(200一个月)。我自己有三个私有的镜像需要push/pull的，所以思考着干
新服务器の周辺 之前写了一篇配置ssh的ssh登录服务器，就只是讲了ssh配置部分，但是还有其他的一些细节没有讲，下面就一步步展开，用一个新装好的ubuntu server16.04作为例子。1.检查时间①date查看服务器时间是否正确 ②配置时区 dpkg-reconfigure tzdata，可以写进去/etc/timezone，再看看时间，如果不对的话可以用date -s 校正 ③配置ntp服务器
ssh登录の周辺 && Mosh 前言ssh这一部分可以说是web开发的基础之一，ssh取代了telnet成为更为安全的远程服务器登录方式不是一天两天的事情了，远程操作离不开ssh，之前自己搭在腾讯云的小博客，用的是debian系统，也是用ssh登录，一开始是用密码登录，后面改成密钥登录，就不用每次都打密码这么麻烦了。然而，就是这么一个简单又基础的步骤，其实也是容易出问题的，特别是一台新搭建(或者新虚拟)的主机，最近在配置一台Cen
数据库设计和SQL语句基础 前言首先对于数据库这块，我一直都是敬畏的，因为它是数据集中的地方，而数据又是现在网络应用的基础，无论是爬虫，还是web，还是数据挖掘，都需要依赖数据库，所以数据库中如果管理存储数据就是至关重要的问题.数据库设计我不是科班计算机系出生的，所以谈数据库设计我是惶恐的，所以我这里就只是稍微总结一下我的体悟吧. 数据库的设计现在大多数都是关乎与关系型数据库，关系型数据以Mysql为栗子吧，其他关系型数
算法的四点信仰 一直以来都不知道要以什么态度，什么姿势去理解算法，这些天在infoq里面看到一篇讲数据挖掘算法的文章就摘抄过来了.(虽然它通篇都在讲数据挖掘的算法，但是我觉得下面这几条信仰是对所有算法通用的)1.不以具体业务场景出发，不考虑大数据算法实现的DataMining(后面简称DM)，都在耍流氓[我还看到过一个是:实现之前谈性能也是在耍流氓，就是说先不管性能来实现，再优化]; 2.知其然，晓其所以然，万变
Docker+Git效率工作 前言事情是这样的，首先之前不知道git这个利器，就把代码复制来粘贴去，一个人写代码还好，几个人，特别是一个团队协同工作，这种复制粘贴，U盘拷贝代码，QQ发来发去代码的方式简直就是噩梦，非但麻烦，而且非常凌乱，反正我是受不了。然后，知道git以后才发现自己和它相见恨晚，先别说什么版本控制工具，首先光是托管代码就让我爽一番(svn工作流模式)，请注意，我现在是以完全菜鸟的视角阐述，大神们请掠过。引入了g
python爬虫（下）--模拟登录与Captcha识别 前言之前在 python爬虫（上）–请求——关于模拟浏览器方法，中我挖了一个坑，时隔一个多月，趁着最近有点空，我想是时候填填坑了，总结总结了，不然真的就忘了验证码虽然之前挖坑的那篇已经说了一些，现在还是稍微说一说.在模拟登录中，其实让写爬虫的人疼头就是验证码，只要能破掉验证码，那么登录不是问题.验证码(Chaptcha)内容从英文字符和数字识别，到数字加减乘除，再到汉字的出现，后面还有12306的看
当Kali Rolling作为笔记本唯一一个系统 前言最近原来的Win7一个dll文件损坏，然后自己去找了一个dll文件替换，结果替换了两下开不了机了，用/sfc命令企图让win7自己修复，然后正中了那句话：win7的修复功能10次有9次不成功的，windows一直给我一种底层一直都很神秘，用户自己不容易维护，每次出问题想修复问题，但是最后都只能重装系统（错误信息不够精准和详细），所以一气之下，就把SSD的数据备份出来，直接格掉原来的win7，上了
python爬虫（中）--多进程和多线程 前面我们见到了基本爬虫的请求、提取和保存，这是一个基本爬虫应该有的结构，那么这时候的这个爬虫有了能爬能存的能力，但是这种能力是很弱的，弱主要体现在三点：①爬虫本身健壮性并不高，有很多情况不一定考虑到；②爬虫爬的很慢，效率很低；③防反爬能力不强，容易被Ban掉我们在这篇博文就会就上面第二点讲讲怎么通过运用多线程和多进程来提高爬虫的工作效率.
关注
