MemRay

转载 新浪微博搜索结果数据抓取

这篇文章抓取使用的是jsoup，要求简单的情况下比起httpclient确实方便的多。有启示性但对我的需求来说不太适用，比如没有登陆。 项目需要在抓取新浪微博搜索结果数据，顺手做了个工具，以实现在新浪微博搜索中自动抓取配置的关键字的搜索结果。在此分享一下。 先看一下新浪微博搜索结果页面的源码： 可以看到，得到的并不是普通html，都是通过js调用的。其中汉字全