- 博客(3)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 Scrapy下网络爬虫
Scrapy是一个抓取网站的框架，用户需要做的只是定义抓取网站的spider，并在其中定义抓取的规则，获取需要抓取的数据，Scrapy管理其他复杂的工作，比如并发请求，提取之后的数据保存等。 Scrapy 声称他们“偷取”了Django的灵感，虽然两者的方向怎么都联系不到一起去，但是确实如果对Django有了解，对Scrapy的结构会感到很亲切。 Scrapy也会有项目的概念，一个项目里面可以包
2012-05-21 22:02:55
20550
1
转载 Python实现网络爬虫
其实网络爬虫的原理并不是太复杂，具体的一些东西可以参照百度百科的描述，在这里我就不再多说。 我使用的网络爬虫下载网页的算法是广度搜索(BFS)，网络上对爬虫实现算法的评价中，广度搜索的算法是排行第二的，最好的算法是按网页重要性排序后再确定下载顺序（这个算法很灵活，怎么排序本人不是很了解）。 进入正题，描述如何实现： 拿到一个已经有了描述的办法，实现它可以按自顶向下的思路，先将
2012-05-21 21:04:36
11440
转载 简明 Vim 练级攻略
vim的学习曲线相当的大（参看各种文本编辑器的学习曲线），所以，如果你一开始看到的是一大堆VIM的命令分类，你一定会对这个编辑器失去兴趣的。下面的文章翻译自《Learn Vim Progressively》，我觉得这是给新手最好的VIM的升级教程了，没有列举所有的命令，只是列举了那些最有用的命令。非常不错。 ——————————正文开始—————————— 你想以最快的速度学习人类史上最好
2012-05-21 20:49:58
815
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人