爬虫笔记：从response.headers 获得文件名的乱码处理方法

问题：
下载文件到最后一步，需要获得下载文件的名字，这个名字在 headers里面，然而，当有中文的时候，这个名字是乱码。笔者进行了各种尝试，最终还是通过穷举的方法，得到了这个名字。需要进行一个莫名其妙额编码转化，至于为什么是这样做，不知道，想半天没想明白。

其中的核心猜测编码的核心的函数如下

        public static List<string> lookUpEncodingHelper(string messyStr,string matchStr)
        {
            String sResult = "";
            EncodingInfo[] Encodings = Encoding.GetEncodings();
            List<string> resultList = new List<string>();
            for (int i = 0; i < Encodings.Length; i++)
            {

//下面的代码逆向操作是个很奇怪的操作，但是这样做就可以了。
                Encoding reverseEncode = Encodings[i].GetEncoding();
                byte[] reverseBytes = reverseEncode.GetBytes(messyStr);
                for (int j = 0; j < Encodings.Length; j++)
                {
                    Encoding transferEncode = Encodings[j].GetEncoding();
                    char[] transferChars = new char[transferEncode.GetCharCount(reverseBytes, 0, reverseBytes.Length)];
                    transferEncode.GetChars(reverseBytes, 0, reverseBytes.Length, transferChars, 0);//利用char数组存储字符
                    sResult = new string(transferChars);
                    if (matchStr != "")
                    {
                        if (sResult.IndexOf(matchStr) >= 0)
                        {
                            //   MessageBox.Show("Found it.!");
                            resultList.Add(sResult + "-" + reverseEncode.BodyName + "->" + transferEncode.BodyName);
                        }
                    }
                    else
                    {
                        resultList.Add(sResult + "-" + reverseEncode.BodyName + "->" + transferEncode.BodyName);

                    }

                }
            }
            return resultList;
        }

如果你知道这个乱码的中文是什么，则可以输入其中一个关键字进行比较，这样方便很多，如果不知道，就只能自己用眼睛看了。调用代码如下：

      string str0 = @"老友记十季";//老友记全十季

	var     resultList = myFileDownLoader.lookUpEncodingHelper(str0,"老");

测出来的编是
iso-8859-1->UTF-8
iso-8859-8->UTF-8
iso-8859-15->UTF-8

但是这不是意味这服务端的编码是 iso-8859-1 等等

下面给出一个直接转化代码，供大家参考

        public static string getFileNameFromHeader(string messyStr)
        {
            String sResult = "";
            string messyEncodingStr = "iso-8859-1";
            Encoding reverseEncode = Encoding.GetEncoding(messyEncodingStr);
            byte[] reverseBytes = reverseEncode.GetBytes(messyStr);
            Encoding transferEncode = Encoding.UTF8;
            char[] transferChars = new char[transferEncode.GetCharCount(reverseBytes, 0, reverseBytes.Length)];
            transferEncode.GetChars(reverseBytes, 0, reverseBytes.Length, transferChars, 0);//利用char数组存储字符
            sResult = new string(transferChars);
            return sResult;
        }

这个含义是 将一串 UFT-8编码的字符串，用 西欧字符(ISO 逆向得到 bytes，然后这个其实是Utf8编码！不知道微乳的vs里面进行了什么神操作，如有大咖能解释下，就好了。

马拉孙于 2021-02-05

泛五道口地区