- 博客(21)
- 收藏
- 关注
RSS订阅New SubProject TPDA
Xspider2的前期已经完成,目前的版本是0.1.1b可以实现 Single page的抓取; 页面深度的返回与存储 现在打算在X2的基础上增加一个页面深度及路径的算法,这个算法我称之为TPDA,按照GNU风格的解释 TPDA: The Page/Point Depth Algorithm. 争取实现:页面深度和路径无分词文本空间高频词语提取路径最优算法核心算法可能采取JAVA去描述,Pytho...
2008-03-30 00:09:31
192
Zend 学习笔记
这一周是忙碌的,高压的.终于在昨天下班前完成了leader交给我的练手项目,公司是用Zend框架开发的,但是之前leader考虑到我对php不是很熟悉,就让我先去做一个爬虫的项目(Python),这个project完成之后,几乎没有时间再来学习php了,好在我的好友Bluker及时加盟公司，在他的帮助下，我渐渐的对Zend/php有了点感觉.项目很简单,实现一个投票的前台功能,后台已经开发好了,基...
2008-03-22 11:03:05
162
微软精巧500键鼠入手,贺访问量过1100
哇哈哈,访问量过1100了!今天去买了一套Microsoft Wired Desktop 500,感觉好不错 很有手感. :D
2008-03-16 18:49:42
128
起点小说下载工具 代码汇
起点现在的双域名分别是不同的页面架构技术: cmfu是原来老的ASP,对于公开章节,起点采用的是js调用一个txt,相对原来直接页面显示,确实是一个明智的选择(对抓取的来说也方便:p). qidian采用的是新的.Net技术,这个里面就需要采用正则去匹配了. 结合上一篇文章我的小程序,这里将社区内相关的代码全部show一下. 首先是我的: [code="python"] #!/us...
2008-03-15 09:29:41
417
发布一个简单的起点阅读下载工具
使用方法: 进入程序目录,输入123.exe 按照提示 输入需要的章节url,程序即会自动下载该章节的text文本存储到程序目录下,以章节id为名. 由于源代码很简单,就不献丑了,欢迎各位和我多多赐教,我也会完善后续版本. 经兜兜提醒发现,原来起点改版了,新的网站采用.net架构,目前程序只能分析cmfu.com即asp的老版本架构起点页面,这个问题我会在下一个版本解决 ...
2008-03-12 23:32:09
114
Python数据库连接池DBUtils
DBUtils 是一套允许线程化 Python 程序可以安全和有效的访问数据库的模块。DBUtils已经作为 Webware for Python 一部分用来结合 PyGreSQL 访问 PostgreSQL 数据库，当然他也可以用在其他Python应用程序中来访问 DB-API 2 兼容的数据库接口。 模块 DBUtils实际上是一个包含两个子模块的Python包，一个用于连接DB-AP...
2008-03-11 17:31:14
136
线程与进程
线程（thread, 台湾称 执行绪）是"进程"中某个单一顺序的控制流。也被称为轻量进程（lightweight processes）。计算机科学术语，指运行中的程序的调度单位。 线程是进程中的实体，一个进程可以拥有多个线程，一个线程必须有一个父进程。线程不拥有系统资源，只有运行必须的一些数据结构；它与父进程的其它线程共享该进程所拥有的全部资源。线程可以创建和撤消线...
2008-03-11 11:11:03
138
Java转换UTC时间:2008-02-13T14:15:44.000Z 怪异的时间格式
近日,把玩Google Pisaca API的时候发现返回一个这样的时间格式: 2008-02-13T14:15:44.000Z ,问人未果. 窃以为T,z应该是和时区有关,经过google果然这个就是传说中的UTC 通用标准时以z来标识 其它的时区显示的时间与通用协调时间不同，因此例如你能使用太平洋标准时间2007-12-25T06:00:00:000-8:00来显示2007年12月25日...
2008-03-10 23:10:39
314
Python环境编码与MySQL中文编码操作
经过30个小时的coding,终于解决了编码问题.现在把过程和体会记录下来:P MySQL 数据库方面: 数据库的创建支持UTF8: [color=red][b]CREATE DATABASE db_name DEFAULT CHARACTER SET utf8 COLLATE utf8_bin;[/b][/color] 很多时候,默认的会选择COLLATE utf8_general_c...
2008-03-10 17:54:59
101
发布自已写的一个简单的爬虫项目xspider2
这个项目主要是分析一个页面的深度链接值,然后进行相应的抓取.目前已经完成了[b]单页面抓取操作方法的封装[/b][code="python"](import graspContent.py)[/code]以及[b]MySQL数据库连接[/b][code="python"](import link_db.py)[/code]. Python操作MySQL的库是MySQLdb: [code="...
2008-03-08 00:28:00
752
入梦初醒
最近长沙遭遇了传说中50年不遇的雪灾,这个城市完全被雪淹没了.工作快一个月了,每天忙忙碌碌的,早起贪黑,似乎充实了不少,可是收获了什么呢?似乎已经快要麻木的习惯这样朝九晚五和两点一线的生活了,在颠簸的公交车上,经常混混的睡去.突然间,我可悲的发现自己丧失了那股冲劲,一个20岁的小伙本该朝气蓬勃,而我却这样的萎靡.曾几何时自己是多么梦想着这样It人的生活,enjoy coding! enjoy re...
2008-01-29 10:49:08
133
工作杂记(ii)
以前总是满足自己做出点小东西来,实现功能就可以了,觉得很cool。也没有想过扩展,二次开发这些问题.现在随着工作的不断深入,发现确实需要好好学习下软件工程的知识了,Design Patterns,UML这些都是需要掌握的. 自己做软件和做产品级应用确实不同啊,又是一次挑战:) ...
2008-01-02 16:08:08
72
工作杂记
今天接到一个任务,实现一个Spider,来方便团队的资讯和内容编辑人员,提高团队的开发效率.说实话,这个东西经常看见别人提起,但是实际动手发现一个问题是,简单的功能好做但是普遍的适应性就很差:比如可以在Sina体育版的新闻实现我的需求可是在时政版就不行-_-! 还有一些专题带了Video的,这个就得做一大堆的条件预判断,OMG,网易和Sohu偶还没有考虑呢! 不过我也发现Google的爬虫也是Py...
2008-01-01 15:35:50
85
明天要开工了
明天要开工了.一段新的生活开始了！祝愿自己可以把握机会,勤快点,努力点. PHP和MySQL Web开发下载,虽然自己有这本书,可是还是留个电子版的标记吧. Technorati 标签: PHP,ebook...
2007-12-30 16:09:01
120
使用Eclipse PDT+WAMP开发PHP----PHP学习笔记
说起PHP的开发环境,可能很多人会首推Zend Studio和Editplus这两个确实不错,不过我不是很喜欢Zend那种Swing界面,同样是JAVA写的Eclipse就很不错,当然Eclipse用的是SWT,本来就是可以取代Swing的界面解决方案:)Eclipse本来是用来开发Java的，不过现在的IDE都朝着多元化发展,Eclipse已经可以支持C++ PHP Ruby等语言了.在Ecli...
2007-12-29 20:23:07
128
$this->$a与$this->a----PHP学习笔记
今天在阅读PHP Manual的"对象"这一部分的时候,发现评论中的一个例子很不理解,代码如下<?php class c { var $a = array('a'=>'aa','b'=>'ab'); var $b = 'c'; function show() { echo $this->a['a']; // -> 1st...
2007-12-29 19:27:00
465
2008
和群里的朋友讨论完一个问题以后，发现时间已经是12月29日了,另一位网友说了句"2008再见"，才想起原来很多公司今天开始放假了，大家再次见面的时候就是2008年了----奥运年。这才发现，2007年就这样快要结束了。一个人向来，这一年真是......竟然找不到一个词语来概括这一年的风风雨雨。 细细的回想，记得这么几件事情对自己来说，影响颇大。 离开,这样一个决定或许改变了我今后的一生，离开的原因...
2007-12-28 18:16:29
85
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人