diaoliang1863-CSDN博客

转载 python网络编程详解

最近在看《UNIX网络编程卷1》和《FREEBSD操作系统设计与实现》这两本书，我重点关注了TCP协议相关的内容，结合自己后台开发的经验，写下这篇文章，一方面是为了帮助有需要的人，更重要的是方便自己整理思路，加深理解。理论基础OSI网络模型OSI模型是一个七层模型，实际工程中，层次的划分没有这么细致。一般来说，物理层和数据层对应着硬件和设备驱动程序，例如网卡和网卡驱动。传输层和...

2017-04-07 16:38:00 179

转载 python实现视频下载

最近一两年短视频业务风生水起，各个视频网站都有各自特色的短视频内容。如果有这样一个程序，可以把各大视频网站的热门用户最新发布的视频都下载下来，不仅方便自己观看，还可以将没有版权的视频发布在个人社交网站上，增加自己的人气，岂不美哉？parker就是这样一个项目（项目地址：https://github.com/LiuRoy/parker），它采用celery框架定时爬取用户视频列表，将最新...

2017-03-13 18:00:00 744

转载 python开发编译器

引言最近刚刚用python写完了一个解析protobuf文件的简单编译器，深感ply实现词法分析和语法分析的简洁方便。乘着余热未过，头脑清醒，记下一点总结和心得，方便各位pythoner参考使用。ply使用简介如果你不是从事编译器或者解析器的开发工作，你可能从未听说过ply。ply是基于python的lex和yacc，而它的作者就是大名鼎鼎Python Cookbook, 3rd...

2017-01-06 15:30:00 252

转载 python黑魔法 -- 内置方法使用

很多pythonic的代码都会用到内置方法，根据自己的经验，罗列一下自己知道的内置方法。__getitem__ __setitem__ __delitem__这三个方法是字典类的内置方法，分别对应于查找、设置、删除操作，以一个简单的例子说明：class A(dict): def __getitem__(self, key): print '__getitem...

2016-07-13 00:19:00 176

转载如何进行python性能分析？

在分析python代码性能瓶颈，但又不想修改源代码的时候，ipython shell以及第三方库提供了很多扩展工具，可以不用在代码里面加上统计性能的装饰器，也能很方便直观的分析代码性能。下面以我自己实现的一个快排代码为例，带你使用集中不同的性能分析工具。def quick_sort(data, low, high): if low >= high: ret...

2016-07-07 22:34:00 128

转载神经网络、logistic回归等分类算法简单实现

最近在github上看到一个很有趣的项目，通过文本训练可以让计算机写出特定风格的文章，有人就专门写了一个小项目生成汪峰风格的歌词。看完后有一些自己的小想法，也想做一个玩儿一玩儿。用到的原理是深度学习里的循环神经网络，无奈理论太艰深，只能从头开始开始慢慢看，因此产生写一个项目的想法，把机器学习和深度学习里关于分类的算法整理一下，按照原理写一些demo，方便自己也方便其他人。项目地址：htt...

2016-04-16 23:12:00 151

转载使用python抓取婚恋网用户数据并用决策树生成自己择偶观

最近在看《机器学习实战》的时候萌生了一个想法，自己去网上爬一些数据按照书上的方法处理一下，不仅可以加深自己对书本的理解，顺便还可以在github拉拉人气。刚好在看决策树这一章，书里面的理论和例子让我觉得这个理论和选择对象简直不能再贴切，看完长相看学历，看完学历看收入。如果可以从婚恋网站上爬取女性的数据信息，手动给她们打标签，并根据这些数据构建决策树，不就可以找出自己的择偶模式了吗！git...

2016-04-11 21:53:00 296

转载 spark处理大规模语料库统计词汇

最近迷上了spark，写一个专门处理语料库生成词库的项目拿来练练手， github地址：https://github.com/LiuRoy/spark_splitter。代码实现参考wordmaker项目，有兴趣的可以看一下，此项目用到了不少很tricky的技巧提升性能，单纯只想看懂源代码可以参考wordmaker作者的一份简单版代码。这个项目统计语料库的结果和执行速度都还不错，但缺...

2016-04-06 23:17:00 159

转载隐马尔科夫模型python实现简单拼音输入法

在网上看到一篇关于隐马尔科夫模型的介绍，觉得简直不能再神奇，又在网上找到大神的一篇关于如何用隐马尔可夫模型实现中文拼音输入的博客，无奈大神没给可以运行的代码，只能纯手动网上找到了结巴分词的词库，根据此训练得出隐马尔科夫模型，用维特比算法实现了一个简单的拼音输入法。githuh地址：https://github.com/LiuRoy/Pinyin_Demo原理简介隐马尔科夫模型...

2016-03-31 22:58:00 915

转载 python爬取github数据

爬虫流程在上周写完用scrapy爬去知乎用户信息的爬虫之后，github上star个数一下就在公司小组内部排的上名次了，我还信誓旦旦的跟上级吹牛皮说如果再写一个，都不好意思和你再提star了，怕你们伤心。上级不屑的说，那就写一个爬虫爬一爬github，找一找python大牛，公司也正好在找人。临危受命，格外激动，当天就去研究github网站，琢磨怎么解析页面以及爬虫的运行策略。意外的...

2016-03-27 01:30:00 736

转载 scrapy爬虫docker部署

spider_docker接我上篇博客，为爬虫引用创建container，包括的模块：scrapy, mongo, celery, rabbitmq，连接https://github.com/LiuRoy/spider_docker创建image进入spider_docker目录，执行命令：docker build --rm -t zhihu_spider src/运...

2016-03-22 15:15:00 187

转载 scrapy 知乎用户信息爬虫

zhihu_spider此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo，下载这些数据感觉也没什么用，就当为大家学习scrapy提供一个例子吧。代码地址：https://github.com/LiuRoy/zhihu_spider，欢迎各位大神指出问题，另外知乎也欢迎大家关注哈 ^_^.流程图请求https://www....

2016-03-20 11:44:00 206

转载 Chrome浏览器Cookie解密

做过 web 开发的都知道：浏览器会把重要的认证登录认证信息存放到 cookie中，在 cookie 有效期内，再次访问这个网站的时候就可以直接从 cookie 中获取到登录信息，这样就可以实现自动登录。但仅仅知道知道这些肯定不能满足很多人的旺盛的求知欲，那么我就 mac 系统下的 Chrome 浏览器 cookie 来做一次深入的讲解。在mac操作系统下，Chrome 浏览器的c...

2015-08-08 16:04:00 1664

转载 python网络爬虫新浪博客篇

上次写了一个爬世纪佳缘的爬虫之后，今天再接再厉又写了一个新浪博客的爬虫。写完之后，我想了一会儿，要不要在博客园里面写个帖子记录一下，因为我觉得这份代码的含金量确实太低，有点炒冷饭的嫌疑，就是把上次的代码精简了一下，用在另外一个网站而已，而且爬别人的博客总有一种做贼心虚的感觉，怕被各位园友认为是偷窥狂魔。但是这份代码总归是我花了精力去写的，我也不想就此让它深藏在硬盘之中（电脑实在太老了，可...

2015-05-10 19:50:00 154

转载自娱自乐写爬虫世纪佳缘篇

最近一段时间不知怎得像是中了什么魔怔，特别的想用python写一个网络爬虫，也许是看了知乎上的某位大牛的分享，深感能自己写一个程序在浩瀚的互联网数据海洋中发现有意思的数据的酷炫，抑或就是想单纯的体验一把程序猿的人生价值。在当我信誓旦旦的决定用一到两周准备实现这个宏伟的理想的时候，我马上就遇到了瓶颈，而且是必须快速解决的要给难题：我应该在互联网上爬点什么数据呢？经过一番深入的考察，我发...

2015-05-03 22:35:00 297

转载 python实现网络爬虫下载天涯论坛帖子

最近发现天涯论坛是一个挺有意思的网站，有各种乱七八糟的帖子足以填补无聊时候的空虚感，但是相当不爽的一件事就是天涯的分页模式下想连贯的把楼主的内容看完实在是太心酸了，一个999页的帖子，百分之九十都是无聊网友的灌水，有时候连续翻几十页才能找到楼主的一条内容。所以无聊之下，就打算写一个简单的爬虫，能一次性把某一个帖子下楼主的所有内容一次性的下载下来。好吧，说了这么多废话，现在开始讲点正事。...

2014-11-12 22:05:00 415