生活随笔
wwwwwwxu
不敢说强记,只敢说博闻。
展开
-
第一次写项目的感觉 + 强行自我膨胀
这几天一直在写一个朋友推荐写的小项目。 是一个自动更新hosts的程序。 代码不是很长,5k左右的样子,但是改bug真是改到头痛。 比如什么如何提权啊,如何丢掉freopen用fopen啊。 感觉项目写起来逻辑性需要更强一点,实现难度比ACM要小很多。 以及 github地址 https://github.com/xfause/Hosts_update原创 2016-06-21 19:51:39 · 515 阅读 · 0 评论 -
简单爬虫的实现与学习笔记(完)(8/31)
简单爬虫架构 1-爬虫调度端 负责管理 2-URL管理器 网页下载器 网页解析器 (爬虫部分 形成循环) 3-价值数据 URL管理器 带抓取URL和已抓取URL 防止重复\循环抓取 1-添加 并判断是否存在 2-获取待处理URL 并删除 3-移动集合 实现方式 1-存在内存中 两个set() python 个人\小型常用 2-关系数据库 MySQL 3-缓存原创 2016-08-25 18:38:19 · 487 阅读 · 0 评论