爬虫
平凡de世界
这个作者很懒,什么都没留下…
展开
-
webmagic入门
webmagic入门链接转载 2016-07-25 19:47:55 · 433 阅读 · 0 评论 -
页面滚动到指定的位置
1.设置坐标,使页面滚动到指定的坐标WebDriver driver = new FirefoxDriver(); driver.get("http://www.nytimes.com/"); ((JavascriptExecutor)driver).executeScript("scrollTo(0,3000)"); Thread.sleep(5000);2.获取滚动条,使滚动条滚动到原创 2016-08-10 15:42:31 · 1366 阅读 · 0 评论 -
获取ajax动态加载的页面
最近在因为工作需要,开始学习爬虫,对于静态加载的页面,爬去并不难,但是遇到ajax动态加载的页面,就爬去不到动态加载的信息了! 对于ajax动态加载的数据爬去,一般有两种方式: 1.因为js渲染页面的数据也是从后端拿到,而且基本上都是AJAX获取,所以分析AJAX请求,找到对应数据的 请求,也是比较可行的做法。而且相对于页面样式,这种接口变化可能性更小。缺点就是找到这个请求,并原创 2016-08-18 17:27:53 · 19447 阅读 · 8 评论