用Javascript滚动到页面底部，并能正确判断出页面已到底部的方法

现在的页面大部分都是通过Js渲染来显示页面的，也就是如果不滚动到页面底部就无法获取整个页面的HTML源码，如果通过CURL等抓取网页那么基本上抓取到都是一堆javascript代码。

所以就有了webkit爬虫，把整个页面渲染完了再抓取。这个到达页面底部的操作通常是在webkit中执行Js来完成的，注意如果通过js直接跳到底部页面只会渲染底部的HTML，中间的部分是不会渲染的。 所以下面这段代码就是通过js逐步滚动到页面底端，并且能判断出页面已达到底端来把setIntervel绑定的定时器清掉，以免造成死循环。

var delay = 10;//in milliseconds
var scroll_amount = 10;// in pixels
var interval;
function scroller() {
    var old = document.body.scrollTop;//保存当前滚动条到顶端的距离
    document.body.scrollTop += scroll_amount;//让滚动条继续往下滚动
    if (document.body.scrollTop == old) {//到底部后就无法再增加scrollTop的值
        clearInterval(interval);
    }
}
function scrollToBottom()
{
  interval = setInterval("scroller()",delay);
}

scrollToBottom()

用Python的ghost.py库来做webkit爬虫时就可以用它的evaluate方法执行这段代码来渲染出整个页面。