解决新浪抓取资料文字乱码 php字符转码

因为工作原因，时常用到抓取程序。

比较像迅雷、电驴、新浪等。

最好发现一个现在，就是新浪上的资料抓取回来之后，发现是乱码。

经过仔细对比，不是乱码。

原来是新浪对所以文字作了编码处理

%u6df1%u5733%u7535%u89c6%u53f0%u300a%u6b63%u534830%u5206%u300b

 

其实是中文的

深圳电视台《正午30分》

 

在网上找了一堆相关的东西。发js的unescape刚好可以解决这个问题。一阵狂喜。

 

淡定之后，发现。不能使用。

因为我的程序中，要用PHP来处理入库问题，不用能js来帮忙吧

 

网上搜索了一番，发现还真有不少人遇到类似问题。

 

在网上搜索如下函数

 

function unescape($str) {
  $str = rawurldecode($str);
  preg_match_all("/(?:%u.{4})|.+/",$str,$r);
  $ar = $r[0];
  foreach($ar as $k=>$v) {
    if(substr($v,0,2) == '%u' && strlen($v) == 6)
      $ar[$k] = iconv("UCS-2","utf-8",pack("H4",substr($v,-4)));
  }
  return join("",$ar);
}

 

用了一下，感觉还行。

 

后来发现有点小问题，又换一个函数

 

好像功能要强大一些

 

function unescape($str) {
  $str = rawurldecode($str);
  preg_match_all("/%u.{4}|&#x.{4};|&#\d+;|&#\d+?|.+/U",$str,$r);
  $ar = $r[0];
  foreach($ar as $k=>$v) {
  if(substr($v,0,2) == "%u")
  $ar[$k] = iconv("UCS-2","utf-8",pack("H4",substr($v,-4)));
  elseif(substr($v,0,3) == "&#x")
  $ar[$k] = iconv("UCS-2","utf-8",pack("H4",substr($v,3,-1)));
  elseif(substr($v,0,2) == "&#") {
  $ar[$k] = iconv("UCS-2","utf-8",pack("n",preg_replace("/[^\d]/","",$v)));
  }
}
return join("",$ar);
}

 

感觉要好一些。

 

但是用了一段时间，发现在本地可以使用，但是我们的线上环境不能够使用

找了半天，不知道是何原因。

对比一下，

其实就是线上是*nux，本地是XP了

还有，就是PHP版本不一样了。

 

后来，又在手册里面发现有一个类似的函数

而且还支持utf8，个人觉得应该通用性更好吧。

 

function utf8RawUrlDecode ($source) {
   $decodedStr = "";
   $pos = 0;
   $len = strlen ($source);
   while ($pos < $len) {
       $charAt = substr ($source, $pos, 1);
       if ($charAt == '%') {
           $pos++;
           $charAt = substr ($source, $pos, 1);
           if ($charAt == 'u') {
               // we got a unicode character
               $pos++;
               $unicodeHexVal = substr ($source, $pos, 4);
               $unicode = hexdec ($unicodeHexVal);
               $entity = "&#". $unicode . ';';
               $decodedStr .= utf8_encode ($entity);
               $pos += 4;
           }
           else {
               // we have an escaped ascii character
               $hexVal = substr ($source, $pos, 2);
               $decodedStr .= chr (hexdec ($hexVal));
               $pos += 2;
           }
       } else {
           $decodedStr .= $charAt;
           $pos++;
       }
   }
   return $decodedStr;
}

 

 

呵呵，果然，这个函数。解决了线上问题。

记录下来，以后好查询哈。