JAVA爬虫三大运营商

最新推荐文章于 2022-08-15 17:15:52 发布
VIP文章 最新推荐文章于 2022-08-15 17:15:52 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： 爬虫 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40061356/article/details/106542624
版权

此代码仅供个人学习、研究之用,请勿用于商业用途

移动采集


import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.gargoylesoftware.htmlunit.*;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.util.Cookie;
import com.gargoylesoftware.htmlunit.util.NameValuePair;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;

import javax.imageio.ImageIO;
import javax.servlet.http.HttpServletRequest;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;
import java.net.InetAddress;
import java.net.URL;
import java.nio.charset.StandardCharsets;
import java.text.SimpleDateFormat;
import java.util.*;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * cmcc
 *
 */

@Service("cmccService")
public class CmccServiceImpl implements CmccService {
   

    private static Pattern NUMBER_PATTERN = Pattern.compile("totalNum\":(.*?),");
    protected Logger log = LoggerFactory.getLogger(getClass());

    @Override
    public String fetchLoginSms(String data, HttpServletRequest request) throws Exception {
   
        JSONObject json = new JSONObject();
        String decryptedData = RsaUtil.privateDecrypt(data, RsaUtil.getPrivateKey(RsaUtil.PRIVATE_KEY));
        if (null == decryptedData && "".equals(decryptedData)) {
   
            json.put("msg", "参数错误");
            json.put("code", "0001");
            json.put("data", "error");
            return JSONObject.toJSONString(json);
        }
        JSONObject jsonData = JSONObject.parseObject(decryptedData);
        String phone = jsonData.getString("phone");
        if (phone == null) {
   
            json.put("msg", "手机号码不能为空");
            json.put("code", "0001");
            json.put("data", "error");
            return JSONObject.toJSONString(json);
        }
        String custId = jsonData.getString("custId");
        if (custId == null) {
   
            json.put("msg", "custId不能为空");
            json.put("code", "0002");
            json.put("data", "error");
            return JSONObject.toJSONString(json);
        }
        return getLoginSms(phone, request, custId);
    }

    private String getLoginSms(String phone, HttpServletRequest request, String custId) throws Exception {
   
        JSONObject json = new JSONObject();
        WebClient webClient = new WebClient(BrowserVersion.CHROME);
        webClient.getOptions().setCssEnabled(false);
        webClient.getOptions().setUseInsecureSSL(true);
        webClient.getOptions().setActiveXNative(false);
        webClient.getOptions().setJavaScriptEnabled(true);
        webClient.getOptions().setThrowExceptionOnScriptError(false);
        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);

        log.info("登录 用户 [{}] 开始获取登录验证码", phone);

        Map<String, String> header = new HashMap(10);
        header.put("Accept", "application/json, text/javascript, */*; q=0.01");
        header.put("Referer", "https://login.10086.cn/login.html");
        header.put("X-Requested-With", "XMLHttpRequest");
        String url = "https://login.10086.cn/login.html";
        WebRequest webRequest = new WebRequest(new URL(url), HttpMethod.GET);
        webRequest.setAdditionalHeaders(header);
        webClient.getPage(webRequest);

        int retryCount = 1;
        do {
   
            if (retryCount > 1) {
   
                Thread.sleep(60000);
            }
            log.info("登录 用户 [{}] 第 [{}] 次获取登录验证码中...", phone, retryCount);
            List<NameValuePair> reqParam = new ArrayList();
            reqParam.clear();
            reqParam.add(new NameValuePair("userName", phone));
            webRequest = new WebRequest(new URL("https://login.10086.cn/chkNumberAction.action"), HttpMethod.POST);
            webRequest.setRequestParameters(reqParam);
            TextPage sendSMS = webClient.getPage(webRequest);
            log.info("登录 用户 [{}] 获取手机验证码第一步结果: [{}]", phone, sendSMS.getContent());
            if ("true".equals(sendSMS.getContent())) {
   
                log.info("登录 用户 [{}] 获取手机验证码第二步开始:", phone);
                retryCount++;
                json = getLoginSmsSecond(webClient, phone, request, custId);
            } else {
   
                json.put("msg", "发送验证码失败,请稍后再试!");
                json.put("code", "0002");
                json.put("data", "error");
                return JSONObject.toJSONString(json);
            }
        } while (!"0000".equals(json.getString("code"))
                && !"0010".equals(json.getString("code"))
                && !"0011".equals(json.getString("code"))
                && !"1001".equals(json.getString("code"))
                && !"1010".equals(json.getString("code")));
        return JSONObject.toJSONString(json);
    }

    private JSONObject getLoginSmsSecond(WebClient webClient, String phone, HttpServletRequest request, String custId) throws Exception {
   
        JSONObject json = new JSONObject();
        List<NameValuePair> reqParam = new ArrayList();
        reqParam.add(new NameValuePair("userName", phone));
        WebRequest webRequest = new WebRequest(new URL("https://login.10086.cn/loadToken.action"), HttpMethod.POST);
        webRequest.setRequestParameters(reqParam);
        Page codePage = webClient.getPage(webRequest);
        JSONObject codePageJson = JSONObject.parseObject(codePage.getWebResponse().getContentAsString());
        log.info("登录 用户 [{}] 获取手机验证码第二步结果: [{}]", phone, codePageJson);
        if (!codePage.getWebResponse().getContentAsString().contains("\"code\":\"0000\",\"desc\":\"成功\"")) {
   
            json.put("msg", "发送验证码失败,请重试");
            json.put("code", "0003");
            json.put("data", "error");
            return json;
        }
        String tokenResult = codePageJson.getString("result");
        return getLoginThird(webClient, phone, tokenResult, request, custId);
    }

    private JSONObject getLoginThird(WebClient webClient, String phone, String tokenResult, HttpServletRequest request, String custId) throws Exception {
   
        JSONObject json = new JSONObject();

        Map<String, String> header = new HashMap(10);
        header.put("Content-Type", "application/x-www-form-url1encoded; charset=UTF-8");
        header.put("Referer", "https://login.10086.cn/login.html?channelID=12034&backUrl=http%3A%2F%2Fservice.jx.10086.cn%2Fservice%2Fresources%2FindexNew.html");
        WebRequest webRequest = new WebRequest(new URL("https://login.10086.cn/sendflag.htm?timestamp=" + System.currentTimeMillis()), HttpMethod.POST);
        webRequest.setAdditionalHeaders(header);
        webClient.getPage(webRequest);
        Cookie cookie = webClient.getCookieManager().getCookie("sendflag");
        if (null != cookie) {
   
            String sendflag = cookie.getValue();
            log.info("登录 用户 [{}] 获取Cookie: sendflag 成功: [{}]", phone, sendflag);
        }

        header.put("Xa-before", tokenResult);
        header.put("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8");

        List<NameValuePair> reqParam = new ArrayList();
        reqParam.add(new NameValuePair("userName", phone));
        reqParam.add(new NameValuePair("channelID", "12003"));
        reqParam.add(new NameValuePair("type", "01"));

        webRequest = new WebRequest(new URL("https://login.10086.cn/sendRandomCodeAction.action"), HttpMethod.POST);
        webRequest.setRequestParameters(reqParam);
        webRequest.setAdditionalHeaders(header);

        Page resultPage = webClient.getPage(webRequest);
        log.info("登录 用户 [{}] 获取验证码第三步结果: [{}]", phone, resultPage.getWebResponse().getContentAsString());
        if ("1".equals(resultPage.getWebResponse().getContentAsString())) {
   
            log.info("登录 用户 [{}] 获取登录验证码频繁,等待1分钟后重新发送!", phone);
            json.put("msg", "对不起，短信随机码暂时不能发送，等待1分钟后重新发送!");
            json.put("code", "0010");
            json.put("data", "error");
            return json;
        } else if (resultPage.getWebResponse().getContentAsString().contains("0")) {
   
            log.info("登录 用户 [{}] 短信验证码发送成功!", phone);
            json.put("msg", "短信验证码发送成功");
            json.put("code", "0000");
            json.put("data", "success");
            request.getSession().setAttribute(custId + "loginSms", webClient);
            return json;
        } else if (resultPage.getWebResponse().getContentAsString().contains("2")) {
   
            log.info("登录 用户 [{}] 获取短信验证码次数到达上限,请24小时后再试", phone);
            json.put("msg", "获取短信验证码次数到达上限,请24小时后再试!");
            json.put("code", "0011");
            json.put("data", "error");
            return json;
        } else if (resultPage.getWebResponse().getContentAsString().contains("6")) {
   
            log.info("登录 用户 [{}] 获取短信验证码失败,官网响应为6,重试中...", phone);
            json.put("msg", "获取短信验证码失败,官网响应为6,重试中!");
            json.put("code", "0012");
            json.put("data", "error");
            return json;
        } else if (resultPage.getWebResponse().getContentAsString().contains("error")){
   
            log.info("登录 用户 [{}] 获取短信验证码失败,手机号码有误：[{}] ,请重试...", phone, resultPage.getWebResponse().getContentAsString());
            json.put("msg", "获取短信验证码失败,手机号码有误");
            json.put("code", "1001");
            json.put("data", "error");
            return json;
        }else {
   
            log.info("登录 用户 [{}] 获取短信验证码失败,系统异常：[{}] ,重试中...", phone, resultPage.getWebResponse().getContentAsString());
            json.put("msg", "获取短信验证码失败,系统异常,重试中!");
            json.put("code", "1000");
            json.put("data", "error");
            return json;
        }
    }

    @Override
    public String loginBySms(String data, HttpServletRequest request) throws Exception {
   
        JSONObject json = new JSONObject();
        String decryptedData = RsaUtil.privateDecrypt(data, RsaUtil.getPrivateKey(RsaUtil.PRIVATE_KEY));
        if (decryptedData == null && "".equals(decryptedData)) {
   
            json.put("msg", "参数不能为空");
            json.put("code", "2000");
            json.put("data", "error");
            return JSONObject.toJSONString(json);
        }
        JSONObject jsonData = JSONObject.parseObject(decryptedData);
        if (jsonData.getString("phone") == null) {
   
            json.put("msg", "手机号不能为空!");
            json.put("code", "2001");
            json.put("data", "error");
        }
        if (jsonData.getString("smsCode") == null) {
   
            json.put("msg", "短信验证码不能为空!");
            json.put("code", "2001");
            json.put("data", "error");
        }
        if (jsonData.getString("custId") == null) {
   
            json.put("msg", "custId不能为空!");
            json.put("code", "2001");
            json.put("data", "error");
        }
        return JSONObject.toJSONString(cmccLogin(jsonData.getString("phone"), jsonData.getString("smsCode"), jsonData.getString("custId"), request));
    }

    private JSONObject cmccLogin(String phone, String smsCode, String custId, HttpServletRequest request) throws Exception {
   
        WebClient webClient = (WebClient) request.getSession().getAttribute(custId + "loginSms");
        Map<String, String> header = new HashMap(10);
        List<NameValuePair> reqParam = new ArrayList();
        JSONObject json = new JSONObject();
        WebRequest webRequest = new WebRequest(new URL("https://login.10086.cn/login.htm"), HttpMethod.GET);
        header.put("Accept", "application/json, text/javascript, */*; q=0.01");
        header.put("Accept-Encoding", "gzip, deflate, br");
        header.put("Accept-Language", "zh-CN,zh;q=0.9");
        header.put("Connection", "keep-alive");
        header.put("Host", "login.10086.cn");
        header.put("Referer", "https://login.10086.cn/login.html");
        header.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36");
        header.put("X-Requested-With", "XMLHttpRequest");
        webRequest.setAdditionalHeaders(header);
        webRequest.setCharset(StandardCharsets.UTF_8);
        reqParam.clear();
        reqParam.add(new NameValuePair("accountType", "01"));
        reqParam.add(new NameValuePair("account", phone));
        reqParam.add(new NameValuePair("password", smsCode));
        reqParam.add(new NameValuePair("pwdType", "02"));
        reqParam.add(new NameValuePair("smsPwd", smsCode));
        reqParam.add(new NameValuePair("inputCode", ""));
        reqParam.add(new NameValuePair("backUrl", "http%3A%2F%2Fwww.10086.cn%2Froaming%2Fyewu%2Findex%2Fsn%2F%3FWT.mc_id%3DBD000GJMY_YEWU_GJC_1_190626"));
        reqParam.add(new NameValuePair("rememberMe", "0"));
        reqParam.add(new NameValuePair("channelID", "12034"));
        reqParam.add(new NameValuePair("loginMode", "01"));
        reqParam.add(new NameValuePair("protocol", "https%3A"));
        reqParam.add(new NameValuePair("timestamp", String.valueOf(System.currentTimeMillis())));
        webRequest.setRequestParameters(reqParam);
        Page loginResultPage = null;
        try {
   
            loginResultPage = webClient.getPage(webRequest);
        } catch (NullPointerException e) {
   
            json.put("msg", "官网响应为空!");
            json.put("code", "9999");
            json.put("data", "error");
            return json;
        }
        if (loginResultPage.getWebResponse().getContentAsString().contains("认证成功")) {
   
            json.put("msg", "登录成功!");
            json.put("code", "0000");
            json.put("data", "success");
            log.info("登录 用户 [{}] 登录成功,页面跳转中!", phone);
            JSONObject info = JSONObject.parseObject(loginResultPage.getWebResponse().getContentAsString());
            String artifact = info.getString("artifact");
            jumpAfterSuccessLogin(webClient, artifact, custId, request);
            log.info("登录 用户 [{}] 登录成功,跳转完成!", phone);
        } else if (loginResultPage.getWebResponse().getContentAsString().contains("密码锁定")) {
   
            json.put("msg", "登录失败,密码锁定!");
            json.put("code", "2002");
            json.put("data", "error");
            log.info("登录 用户 [{}] 登录失败! 登录密码被锁定!", phone);
        } else if (loginResultPage.getWebResponse().getContentAsString().contains("账号锁定")) {
   
            json.put("msg", "登录失败,账号锁定!");
            json.put("code", "2003");
            json.put("data", "error");
            log.info("登录 用户 [{}] 登录失败! 登录账号被锁定!", phone);
        } else if (loginResultPage.getWebResponse().getContentAsString().contains("系统繁忙")) {
   
            json.put("msg", "登录失败,官网系统繁忙!");
            json.put("code", "2004");
            json.put("data", "error");
            log.info("登录 用户 [{}] 登录失败! 官网系统繁忙,请重试!", phone);
        } else if (loginResultPage.getWebResponse().getContentAsString().contains("您的账户名与密码不匹配")) {
   
            json.put("msg", "登录失败,您的账户名与密码不匹配!");
            json.put("code", "2005");
            json.put("data", "error");
            log.info("用户 [{}] 登录失败! 账户名与密码不匹配!", phone);
        } else if (loginResultPage.getWebResponse().getContentAsString().contains("短信随机码不正确或已过期")) {
   
            json.put("msg", "登录失败,短信随机码不正确或已过期!");
            json.put("code", "2006");
            json.put("data", "error");
            log.info("用户 [{}] 登录失败! 短信随机码不正确或已过期!", phone);
        } else if (loginResultPage.getWebResponse().getContentAsString().contains("请您输入正确的密码")) {
   
            json.put("msg", "登录失败,请您输入正确的密码!");
            json.put("code", "2007");
            json.put("data", "error");
            log.info("登录 用户 [{}] 登录失败! 请您输入正确的密码!", phone);
        } else {
   
            json.put("msg", "登录失败,未知异常!");
            json.put("code", "2008");
            json.put("data", "error");
            log.info("登录 用户 [{}] 登录失败! 未知异常: [{}]", phone, loginResultPage.getWebResponse().getContentAsString());
        }
        return json;
    }

    private void jumpAfterSuccessLogin(WebClient webClient, String artifact, String custId, HttpServletRequest request) throws Exception {
   

        String url = "http://shop.10086.cn/i/v1/auth/getArtifact?backUrl=http%3A%2F%2Fshop.10086.cn%2Fi%2F&artifact=" + artifact;
        WebRequest webRequest = new WebRequest(new URL(url), HttpMethod.GET);
        webClient.getPage(webRequest);
        log.info("用户登录成功,页面跳转中(1/3)...");

        url = "https://login.10086.cn/SSOCheck.action?channelID=12003&backUrl=http://shop.10086.cn/i/?f=home";
        webRequest = new WebRequest(new URL(url), HttpMethod.GET);
        webClient.getPage(webRequest);
        log.info("用户登录成功,页面跳转中(2/3)...");

        url = "http://shop.10086.cn/i/?welcome=" + System.currentTimeMillis();
        webRequest = new WebRequest(new URL(url), HttpMethod.GET);
        webClient.getPage(webRequest);
        log.info("用户登录成功,页面跳转中(3/3)...");

        url = "http://shop.10086.cn/i/?f=billdetailqry";
        webRequest = new WebRequest(new URL(url), HttpMethod.GET);
        webClient.getPage(webRequest);

        request.getSession().setAttribute(custId, webClient);
        request.getSession().setAttribute(custId + "bill", webClient);

    }

    @Override
    public String fetchXDBySms(String data, HttpServletRequest request) throws Exception {
   
        JSONObject json = new JSONObject();
        String decryptedData = RsaUtil.privateDecrypt(data, RsaUtil.getPrivateKey(RsaUtil.PRIVATE_KEY));
        if (decryptedData == null && "".equals(decryptedData)) {
   
            json.put("msg", "参数不能为空");
            json.put("code", "2000");
            json.put("data", "error");
            return JSONObject.toJSONString(json);
        }
        JSONObject jsonData = JSONObject.parseObject(decryptedData);
        if (jsonData.getString("phone") == null) {
   
            json.put("msg", "手机号不能为空!");
            json.put("code", "2001");
            json.put("data", "error");
            return JSONObject.toJSONString(json);
        }

        WebClient webClient = (WebClient) request.getSession().getAttribute(jsonData.getString("custId"));
        if (null == webClient) {
   
            json.put("msg", "非法请求!");
            json.put("code", "9999");
            json.put("data", "error");
            return JSONObject.toJSONString(json);
        }
        Map<String, String> header = new HashMap(10);
        header.put("Referer", "http://shop.10086.cn/i/?f=billdetailqry");
        WebRequest webRequest = new WebRequest(new URL("http://shop.10086.cn/i/apps/serviceapps/billdetail/showvec.html"), HttpMethod.GET);
        webRequest.setAdditionalHeaders(header);
        webRequest.setCharset(StandardCharsets.UTF_8);
        webClient.getPage(webRequest);
        log.info("详单 用户 [{}] 获取详单验证码第一步完成", jsonData.getString("phone"));

        log.info("详单 用户 [{}] 获取详单验证码前等待20秒,避免操作频繁", jsonData.getString("phone"));
        for (int i = 0; i < 8; i++) {
   
            Thread.sleep(1000);
        }

        log.info("详单 用户 [{}] 获取详单验证码第二步开始", jsonData.getString("phone"));
        return JSONObject.toJSONString(fetchXDBySmsSecond(webClient, jsonData));
    }

    private JSONObject fetchXDBySmsSecond(WebClient webClient, JSONObject jsonData) throws Exception {
   
        Map<String, String> header = new HashMap(10);
        JSONObject json = new JSONObject();
        int retryCount = 1;
        Page sendSMSResult = null;
        do {
   
            log.info("详单 用户 [{}] 开始第 [{}] 次获取详单验证码", jsonData.getString("phone"), retryCount);
            String url = String.format("https://shop.10086.cn/i/v1/fee/detbillrandomcodejsonp/%s?callback=jQuery011591518200914375_%s&_=%s",
                    jsonData.getString("phone"), System.currentTimeMillis(), System.currentTimeMillis());
            header.clear();
            header.put("Referer", "https://shop.10086.cn/i/?f=home&welcome=" + Calendar.getInstance().getTimeInMillis());
            WebRequest webRequest = new WebRequest(new URL(url), HttpMethod.GET);
            webRequest.setCharset(StandardCharsets.UTF_8);
            webRequest.setAdditionalHeaders(header);
            sendSMSResult = webClient.getPage(webRequest);
            log.info("详单 用户 [{}] 第 [{}] 次获取详单验证码结果: [{}]", jsonData.getString("phone"),
                    retryCount, sendSMSResult.getWebResponse().getContentAsString());
            retryCount++;
        } while (retryCount >= 3 && sendSMSResult.getWebResponse().getContentAsString().contains("\"retMsg\":\"success\""));

        if (sendSMSResult != null) {
   
            if (sendSMSResult.getWebResponse().getContentAsString().contains("下发短信次数过多")) {
   
                json.put("msg", "下发短信次数过多");
                json.put("code", "3001");
                json.put("data", "error");
                log.info("详单 用户 [{}] 发送详单验证码失败,下发短信次数过多,请 [{}] 小时后再试!", jsonData.getString("phone"), "24");
            } else if (sendSMSResult.getWebResponse().getContentAsString().contains("尊敬的用户,请勿在1分钟内重复下发短信")) {
   
                json.put("msg", "请勿在1分钟内重复下发短信");
                json.put("code", "3002");
                json.put("data", "error");
                log.info("详单 用户 [{}] 发送详单验证码失败,请勿在1分钟内重复下发短信,请稍后再试!", jsonData.getString("phone"));
            } else if (sendSMSResult.getWebResponse().getContentAsString().contains("session信息为空，请先登录")) {
   
                json.put("msg", "session信息为空，请先登录");
                json.put("code", "3003");
                json.put("data", "error");
                log.info("详单 用户 [{}] 发送详单验证码失败,请先登录!", jsonData.getString("phone"));
            } else if (sendSMSResult.getWebResponse().getContentAsString().contains("\"retMsg\":\"success\"")) {
   
                json.put("msg", "详单短信验证码发送成功");
                json.put("code", "0000");
                json.put("data", "success");
                log.info("详单 用户 [{}] 发送详单验证码成功!", jsonData.getString("phone"));
            } else {
   
                json.put("msg", "发送失败,未知异常");
                json.put("code", "3004");
                json.put("data", "error");
                log.info("详单 用户 [{}] 发送详单验证码失败,异常原因: [{}]", jsonData.getString("phone"), sendSMSResult.getWebResponse().getContentAsString());
            }
        }
        return json;
    }

    @Override
    public String fetchImgCode(String dataStr, HttpServletRequest request) throws Exception {
   
        JSONObject json = new JSONObject();
        String decryptedData = RsaUtil.privateDecrypt(dataStr, RsaUtil.getPrivateKey(RsaUtil.PRIVATE_KEY));
        if (decryptedData == null && "".equals(decryptedData)) {
   
            json.put("msg", "参数错误");
            json.put("code", "0001");
            json.put("data", "error");
            return JSONObject.toJSONString(json);
        }
        JSONObject jsonData = JSONObject.parseObject(decryptedData);
        String custId = jsonData.getString("custId");

        WebClient webClient = (WebClient) request.getSession().getAttribute(custId);

        JSONObject data = new JSONObject();
        Map<String, String> header = new HashMap(10);
        header.put("Referer", "http://shop.10086.cn/i/?welcome=" + System.currentTimeMillis());
        String imgUrl = "http://shop.10086.cn/i/authImg?t=" + Math.</
最低0.47元/天 解锁文章
Mario丶马
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java爬虫源码Java爬虫源码
04-25
附件是Java网络爬虫(蜘蛛)源码的压缩包，文件绿色安全，仅供学习交流使用，欢迎大家下载学习交流！
运营商数据自动抓取实现
mokeily99的博客
09-05 1197
移动、电信、联通策略、产品等爬虫
联通话费查询
Coder的博客
10-03 840
代码如下 import requests import json url = "https://m.client.10010.com/servicequerybusiness/balancenew/accountBalancenew.htm" # externalSources= # &contactCode= # &serviceType= # &saleChannel= # &channelCode= # &duanlianjieabc= # &ticke
springboot整合
qq_42394862的博客
08-15 493
1springboot 2文件上传oss 3.spring整合视频点播 上传 下载 删除 4.登录，jwt 5.cookie和session
springboot 微信小程序 对接微信支付功能(完整版)
热门推荐
Majker的专栏
03-10 3万+
微信小程序对接微信支付功能业务流程时序图JAVA版1. 项目架构2. pom.xml配置文件3. 小程序账号参数配置类4.JAVA 通用代码4.1 工具类4.1.1 IdGen （id生成类）4.1.2 Render(响应结果类)4.1.3 ResultCode 响应码4.2 SDK类4.2.1 HttpKit4.2.2 IOUtils4.2.3 PaymentApi4.2.4 Payment...
java代码-java爬虫源代码
03-20
java代码-java爬虫源代码 ——学习参考资料：仅用于个人学习使用！
Java爬虫详细完整源码实例
05-26
Java爬虫，信息抓取的实现 详细完整源码实例打包给大家，需要的可以下载下载学习！打包给大家，需要的可以下载下载学习！
基于微博用户数据的 Java 爬虫项目
02-21
基于微博用户数据的 Java 爬虫项目。它主要实现了以下功能： 用户关注列表抓取：用户可以通过程序抓取自己或者其他用户的关注列表，以及关注列表的关注列表，形成一个用户网络。 用户个人信息抓取：用户可以通过...
模拟登录的Java爬虫实现.zip
最新发布
03-06
遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施...
ZhiHuDownLoad:java爬取知乎上所有用户的头像和姓名信息
05-15
ZhiHuDownLoad java爬取知乎上所有用户的头像和姓名信息
python抓取网站访客手机号_实时截取网站访客手机号是真的吗？实时截取400固话通话数据真的能做到吗？...
weixin_39874196的博客
12-12 1783
大家对于python，网络爬虫，数据抓取有一定了解小伙伴应该知道python网络爬虫可以爬取网站，网页的数据信息，一般可以设定自己感兴趣的内容，让python网络爬虫去爬取。三网运营商大数据也是可以实时抓取网站数据的，主要包括：网站访客数据，新注册用户数据抓取；手机APP高频活跃用户数据，新注册用户数据抓取；400电话，固话，座机呼入呼出通话记录抓取；搜索引擎关键词用户数据抓取，小程序使用者数据抓...
SSO统一单独登录框架CAS
qixiang_chen的博客
02-10 4833
SSO单点登录是用户通过统一的认证后，访问其他应用不需要再次登录认证。 JA-SIG(CAS) CAS(Central Authentication Service 中心认证服务)是使分布的各个异构系统的认证功能集中在一起，通过公共的认证系统统一管理和验证用户的身份，在CAS系统认证后的用户获得一个凭证，使用此凭证可以访问与CAS集成的其他所有系统。 CAS认证流程 CAS协议提供的接口，CAS...
Java官网
Java1997
07-24 1万+
java最新下载地址： http://www.java.com/zh_CN/download/manual.jsp java官网： http://www.java.com/zh_CN
java爬虫--利用java爬取网页数据的方法与思路，以爬取“食品许可公示的数据”为例
落雨的清晨的博客
06-10 1万+
项目背景 先说下背景，前几天老哥让帮忙从网上抓点数据，因为他是做食品添加剂的推广工作的，所以需要知道有哪些工厂或者厂家可能需要食品添加剂，然后他给了我一个网址----某食品药品许可公示平台。既然是公示平台，数据应该就是公开的，爬起来应该不会被查水表吧，看这个警徽还是怕怕的 .......>_> 如下: 图已省略..........防止被查水表 抓取的数据类似...
java自动化爬取数据
a13627210064的博客
03-31 1071
懒惰才是人类进步的根本原因。所以越来越多的自动化出现了。 这几天因为工作有了新的需求。需要手动去搜集一些数据。 于是灵机一动 那么多的数据我人工做死了也得够一找。。。 找了一下 java其实也可以爬取页面数据。于是就说干就干 省了一大笔人工做了个自动去找数据。下面跟大家讲讲步骤把。 首先引入了jsoup这个jar。我用的是maven 就把maven得引入发出来把。 <depend...
信用中国公司信用数据爬取
master_ning的博客
09-30 5558
最近在爬取信用中国的时候，有个参数，encryStr，始终找不到，最后发现，只要拿到请求的网页，再从网页中取出来，encryStr，最后再拼到需要的地方就可以了 这是，搜索页url,https://www.creditchina.gov.cn/xinyongxinxi/index.html?index=0&amp;keyword=%E5%B0%8F%E7%B1%B3%E7%A7%91%E6%8A...
靓号站php,阿里宝卡选靓号php代码
weixin_36082388的博客
04-02 215
/*** @Author: Ding Jianlong* @Date: 2018-10-29 16:00:24* @Last Modified by: Ding Jianlong* @Last Modified time: 2018-10-29 18:28:16*/header('content-type:text/html;charset=utf-8');//阿里宝卡 http$url ...
java爬虫和python爬虫
09-12
Java爬虫相对于Python爬虫而言，具有较好的性能和可扩展性，适用于大规模的数据爬取任务。Java爬虫也可以使用多线程或分布式技术来提高效率。 Python爬虫则使用Python编程语言来编写网络爬取的程序。Python有许多...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值