使用语言:
JAVA
使用框架:
Jsoup
使用准备:
大众点评,饿了么,美团这些APP反爬策略很严格,需要设置HTTP代理和随机UA优化才可以采集数据,亿牛云代理客服可以提供真实随机UA
IP设置:
import java.io.IOException;
import java.net.Authenticator;
import java.net.InetSocketAddress;
import java.net.PasswordAuthentication;
import java.net.Proxy;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
public class Demo
{
// 代理验证信息
final static String ProxyUser = "username";
final static String ProxyPass = "password";
// 代理服务器(产品官网 www.16yun.cn)
final static String ProxyHost