Android遇到418错误，提示爬虫

由于公司设置了华为的拦截策略，Android短的app突然爆出418错误，提示疑似爬虫攻击。最后请运维去掉了华为的拦截。

经过调研和事件，被确定为爬虫攻击，是因为user-agent的问题

1.代码使用okhttp，okhttp默认的user-agent是okhttp/版本号

2.如果写过爬虫的可能会有了解，有种反爬虫机制，就是有些商业数据是禁止爬取的，需要模拟浏览器的user-

agent

3.所以，android这里需要重新设置user-agent

 

方法：在header中删除老的user-agent，

设置成webview的user-agnet

借用方法：

方法一：

String useragent = new WebView(this).getSettings().getUserAgentString();

方法二：

private static String getUserAgent() {
    String userAgent = "";
    if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.JELLY_BEAN_MR1) {
        try {
            userAgent = WebSettings.getDefaultUserAgent(getInstance());
        } catch (Exception e) {
            userAgent = System.getProperty("http.agent");
        }
    } else {
        userAgent = System.getProperty("http.agent");
    }
    StringBuffer sb = new StringBuffer();
    for (int i = 0, length = userAgent.length(); i < length; i++) {
        char c = userAgent.charAt(i);
        if (c <= '\u001f' || c >= '\u007f') {
            sb.append(String.format("\\u%04x", (int) c));
        } else {
            sb.append(c);
        }
    }
    return sb.toString();
}