使用webmagic 爬取中关村评论

最新推荐文章于 2023-03-31 10:31:29 发布

Yelling486

最新推荐文章于 2023-03-31 10:31:29 发布

阅读量1k

点赞数

分类专栏： web爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/Yelling486/article/details/56482146

版权

本文介绍了如何使用webmagic框架来爬取中关村在线华为手机评论。由于评论数据是通过js动态加载，需要分析xhr请求规律。通过观察发现，请求参数包括proid（对应手机型号）和epage（页码），从而模拟浏览器发送请求获取每一页的评论数据。

摘要由CSDN通过智能技术生成

和之前爬取天气网站一样，现在用webmagic爬取中关村在线华为手机的评论。(http://detail.zol.com.cn/405/404275/review.shtml)
之前的天气网站由数据是静态的，解析时很容易就能获取，这次的评论数据不一样，是js动态加载的。

f12打开开发人员工具，点击第二页时我们可以在network中看到一条xhr请求
这里写图片描述

可以发现请求的规律，一款手机对应一个proid，epage为页码，因此我们可以构造请求，模拟浏览器发送来获得每一页数据。

完整代码如下：

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.Map.Entry;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.commons.lang.StringUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Html;
import us.codecraft.webmagic.selector.Selectable;


public class HuaweiRepoPageProcessor implements PageProcessor {

    // 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);

    /*
     * ascii码转汉字
     */
    private static String ascii2native(String asciicode)
    {
        String[] asciis = asciicode.split ("\\\\u");
        String nativeValue = asciis[0];
        try
        {
            for ( int i = 1; i < asciis.length; i++ )
            {
                String code = asciis[i];
                nativeValue += (char) Integer.parseInt (code.substring (0, 4), 16);
                if (code.length () > 4)
                {
                    nativeValue += code.substring (4, code.length ());
                }
            }
        }
        catch (NumberFormatException e)
        {
            return asciicode;
        }
        return nativeValue;
    }
    /*
     * 获取Ajax请求
     */
    public static String getAjax(int arg,int pagei){
        return "http://detail.zol.com.cn/xhr3_Review_GetListAndPage_isFilter=0%5EproId="+arg+"%5Epage="+pagei+".html";
    }
    public static String getType(int arg){
        return "/"+(arg/1000+