通过htmlparse动态抓取微信公众号的文章

    真的是很久没有更新我的博客了，刚开始，我还真的不知道爬虫是什么东西，但是由于项目需要，老板要我做个简单的爬虫，就是去人家的微信公众号去把里面的文章动态的抓取下来，当听到这个事情的时候，我是激动的，因为要我接触一个未知的领域，这是一个很值得装逼的是！！！！
    好了屁话就不多逼逼了。首先呢，我是通过搜狗来找到微信公众号的，因为搜狗那边比较容易入手，可以绕过校验。但是我估计也是时日不长。在这之前，我们需要用到htmlparser这个类来操作，可以在maven里面配置：

也可以通过去下载jar包

我们现在抓取这个公众号：http://weixin.sogou.com/weixin?type=1&query=%E5%B0%9A%E6%B1%87%E5%9F%8E&ie=utf8&_sug_=n&_sug_type_=，然后用浏览器打开打开源代码来产看进入这个公众号文章的那个连接，然后进行分析：

我们可以看到它的onclick事件之后是跳转到一个文章列表，所以我们要首先拿到那个连接，进入连接后是文章列表：

接下来就像上一步一样打开源代码分析：每一篇文章都有一个连接，只要截取到这个连接即可：

接下来就是点击其中一篇文章进去，然后在进行分析,可以看到文章的详情都有一个id = js_content的一个div，接下来就是根据这个id来获取文章内容

所有代码如下：

private List<At> fetchArticles(String url) throws Exception {
        List<At> ats = new ArrayList<At>();
        String h1 = getHtml(url);
        Parser parser = new Parser(h1, null);
        NodeList nl = parser.extractAllNodesThatMatch(new NodeFilter() {

            @Override
            public boolean accept(Node node) {
                // TODO Auto-generated method stub
                if (node instanceof Div) {
                    Div shc = (Div) node;
                    String onclick = shc.getAttribute("onclick");
                    <