数据抓取问题之URL特殊字符（如ѐ）

在信息化时代飞速发展的时候，大数据，搜索等也全面发展，网络爬虫已是遍地都是，但是数据抓取也会在处理上需要注意的。

下面描述以下问题：

当抓取的URL里出现特殊的字符，如非ASCII的法文：ѐ ，你会发现程序界面会出现错误：

可是 当你在你的浏览器里 直接输入这个URL时 确实可以访问的！！！

是什么情况呢？ 怎么解决呢？

答案是 程序解码时 把 ѐ 解错了……当然找不到界面了。

1、首先想到的是 把 ѐ 直接转码替换，可是当你用 统一编码 UTF-8时 注意了，这只能对单独的这一个字符的解决办法。

比如 你先编码 ѐ 为  %D1%90  然后替换  当然可以成功的……

URL url = new URL(url.replace("ѐ","%D1%90"));

2、其实还有另一种解决办法的：

就是无论有没有特殊字符 我们都 进行 统一编码 。但是也有一个问题的，那就是不能把  “/”   "//"  也进行编码。

那就只对后面的子URL进行编码.

String Surl = "/xxxx/caffѐ";                                                       //把 URL 分开处理 保护好"//"
Surl = URLEncoder.encode(Surl.replace("/"," "), "utf-8");                         //保护 "/" 
Surl = Surl.replace("+","/");
Url url = new URL("http://www.aaa.com"+Surl);			                   //拼成完整的URL
BufferedReader br = new BufferedReader(new InputStreamReader(Murl.openStream()));  //接下来自己的操作
if(br.readLine()!=null){
    …………
}

这样我觉得 我的URL 里的问题 就解决了。

有问题欢迎讨论……