爬虫
文章平均质量分 89
steady_pace
路一步步的走,事情一件一件的处理。steady~
展开
-
windows 下scrapy 安装步骤
摘要: 主要讲解在windows上搭建scrapy的步骤,该步骤已经在百度上搜索就是一大片的了,但是出于学习以及练习写博客的目的,我还是按照自己的思路写一遍。 最近开始使用python,然后看到忘了上很多人都在用python在抓网页,突然就想起了大学时想弄的网络蜘蛛,于是开始自己写代码,但是第一版做出来不合心意,感觉爬出去了就很难结束,并且想做定制还是比较麻烦。接着在q群众看到有人说使转载 2015-01-13 17:02:03 · 577 阅读 · 0 评论 -
Scrapy 爬虫
1:安装scrapy爬虫 这篇博文写得特别好 http://blog.csdn.net/playstudy/article/details/17296473 ps:不过,最后一步安装 scrapy时,我并不是用的easytool,而是用的 pip install scrapy pip真的很有用,而且挺方便的。以后需要安装其他的 python模块时,直接先用pip试试。原创 2015-01-13 16:55:56 · 452 阅读 · 0 评论 -
爬虫 crawl
1:明白爬虫的本质,最最核心,简单的逻辑原理 抓网页,解析网页。。。在此基础上,可以通过各种技术提升性能。(如:集群,多线程。采用框架等)通过http请求,返回的整个html网页就是个字符串,就是个字符串,就是个字符串!!!!!(解决了我长时间的困惑) 然后,针对这个字符串进行正则表达式的模式匹配。所谓的javascript技术,css等,也就是在字符串中以某种模式存在。不用去烦心这个。原创 2015-09-09 18:05:45 · 1168 阅读 · 0 评论 -
问答系统--站内爬虫
java 站内爬虫原创 2016-05-15 21:53:08 · 877 阅读 · 0 评论