- 博客(4)
- 收藏
- 关注
RSS订阅原创 github教程
1.安装git，ubuntusudo apt-get install git 2.安装完成后设置用户名和邮箱$ git config –global user.name “Your Name”$ git config –global user.email “email@ex
2016-02-28 14:23:36
395
转载 爬虫简单架构
爬虫基础概念及作用1.爬虫：一段自动抓取互联网信息的程序。2.作用：信息为我所用。简单爬虫架构1.2.URL管理器：管理待抓取url集合和已抓取的URL集合如果不对这些URL进行管理，就有可能出现重复抓取和循环抓取的情况，最严重的情况，如果两个URL相互指向，会发现我们的爬虫一直在循环不断的抓取这两个URL，便会出现死循环
2016-02-21 18:21:09
572
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人