python爬虫入门（7） pyspider学习1

前提知识：简单的phantomjs，selenium，lxml的知识

建新项目：cmd>>pyspider all 

                  chrome>>localhost://5000

点击create====>然后出现一个页面

save之后点击运行==========================》》点击follows你会看间只有一条信息，因为on_start给了一个完全页面的url，你点击右边的绿色箭头

 

你会发现里面有好几百条信息，因为在上面这个链接里面，有很多子链接，这里显示的就是这些子链接

原因就是这个index函数crawl（。。href），所以就把所有的链接显示出来了，如果你只需要http://www.imdb.com/news/

这样形式的链接你就这样写。。

结果如下：只剩下11个链接了

然后你点进去一个链接去找你要的东西，先点击web再点击enable css selector helper 他能帮你快速找到东西。接下来就是利用css选择器等工具选择你所需要的了