2012年03月_xkey

12月 11月 09月 08月 07月 06月 03月 02月

原创 Python实现优先队列

Python有队列类Queue，为啥就不提供个PriorityQueue类呢？写优先队列也是在写爬虫的时候想到的，当时没想用PageRank算法（最终也没用），就直接用优先队列来放URL，但是发现Python没有优先队列。网上我看到一哥们用Python的bisect包来实现优先队列的具体的网址：http://www.kgblog.net/2009/04/25/pythonSpider.

2012-03-24 17:05:26 6851 2

原创 Python实现mmseg分词算法和吐嘈

前两天一直在写爬虫，也是一直有心写个简单的搜索引擎吧，写出来肯定是没有Web界面的，本人不知道怎么地，对Web的代码一直有抵触心理。搜索引擎嘛，我想要写出来必须要懂五个部分：1、基础的多线程爬虫2、分词算法，对用户输入的查找文本进行切割3、MapReduce，用来统计词语出现的次数，这个直接关系到URL在队列中的等级4、PageRank，用来给网页排名5、Web界面上述

2012-03-24 16:43:47 13492 16

原创 Python模拟Web Fetion给好友发送信息（HTML解析和具体发送模块）

这部分代码有些地方就直接用了我同学Pzjay的代码，也是他的代码给我带来写这个小程序的思路，对此表示感谢。这里就是主要用到BeautifulSoup包来解析HTML的还是直接来代码：#-*-coding:utf-8-*-from BeautifulSoup import BeautifulSoupimport Fetionimport urllib2,os,sysimport

2012-03-17 21:50:20 1595

原创 Python模拟Web Fetion给好友发送信息(数据库编程模块)

数据库就主要说下sqlalchemy和elixir吧，其实我也没怎么学，就是之前在研究一个工程型代码的时候学习了点，然后就拿来直接用了。先介绍下elixir：官方的文档：http://elixir.ematia.de/trac/wiki/TutorialDivingInelixir主要就是用来封装sqlalchemy的ORM模块的（个人的见解）代码：数据库中的表有：Fetion

2012-03-17 21:42:55 3546

原创 Python模拟Web Fetion登录解析

这个貌似没啥好说的我是参照两篇博客学的：http://miaoo.in/python-fetion.htmlhttp://www.cnblogs.com/xiaoxia/archive/2010/08/04/1792461.html看看这两篇博客就差不多了，但是Fetion的版本更新了，原来的URL用不了了，我换成了新的另外提供一个挺不错的登录飞信代码，但是也是版本过低了，

2012-03-17 21:27:41 2894

周四听到同学写了个用Python模拟Fetion给别人发送天气预报的程序，然后果断把代码要过来看了看，发现少了一个他自己写的一个模块，恰恰就是如何登录飞信和发送信息的模块。除了这个模块的代码外，其他的代码很简单易懂，然后自己写想写个类似的东东，但是咱不会模拟登录飞信啊，就去GG找到了一个可以登录人人的代码，移动公司还算挺照顾的，还开发了个Web版Fetion，那就从这入手，当晚半小时不到搞定了如何

2012-03-17 13:11:04 2523 1

原创 Python Twisted Finger:moving to a component based architecture的个人理解

以下内容只是今天下午个人的理解，不保证理解的正确性，只是很多天一直被这个问题给纠结着，今天才刚刚有点眉目。首先来看一段代码：from twisted.internet import protocol,reactor,deferfrom twisted.protocols import basicfrom twisted.application import internet,ser

2012-03-08 14:25:26 1080