JAVA 爬取京东某款商品的

JAVA 爬虫

最近参加一个比赛，给学长打下手的过程中也写了几个小小的爬虫
虽然java爬虫没有python吃香，不过我觉的还是对初学java的人来说，还是很友好的

代码实现

首先你要去导入几个java包
jsoup
javafast

首先根据题意可以知道我们要从京东官网获取一款商品的信息

这里要做一些准备工作
谷歌浏览器
一个笔记本电脑
一个有问题不问别人，要去百度的?
废话不多说，第一次写直接上干货

/*@作者 Nchu_jhy
*时间 2018 年 11月 28日
*心情 bad
*/
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.alibaba.fastjson.TypeReference;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.io.FileOutputStream;
import java.io.IOException;
import java.util.LinkedHashMap;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class SpiderMain {
    private static String url="https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv25617&productId=7437780&score=0&sortType=5&page=1&pageSize=10&isShadowSku=0&rid=0&fold=1";
    public static void main(String[] args){
        getUrl(url);

    }

    public static String getUrl(String address){
        Document doc = null;
        try {
            doc = Jsoup.connect(address).get();
        } catch (IOException e) {
            e.printStackTrace();
        }


        String jsonStr=doc.body().text();

        Pattern pattern = Pattern.compile("(?<=\\()[^\\)]+");
        Matcher matcher = pattern.matcher(jsonStr);
        if(matcher.find()){
            jsonStr=matcher.group();
        }
        JSONObject data=JSON.parseObject(jsonStr);
        JSONArray commentsStr=data.getJSONArray("comments");

        System.out.println(commentsStr.size());
        int count=0;
        for(Object s:commentsStr){
            JSONObject jsonObject= JSON.parseObject(s.toString());
            //获取用户评论信息
            String content=jsonObject.getString("content");
            System.out.println((++count)+" : "+content);
            //获取用户评论图片
            JSONArray images=jsonObject.getJSONArray("images");
            for(Object s2:images){
                JSONObject jsob=JSONObject.parseObject(s2.toString());
                String imgUrl="http:"+jsob.getString("imgUrl");
                System.out.println("imgUrl:"+imgUrl);
            }
        }

        return "";
    }
    public static void getImg(String url){
        String[] names=url.split("/");
        String name=names[names.length-1];
    }
}

结束