.NET Core使用微软AI认知服务识别文字语言

点击上方蓝字关注“汪宇杰博客”

识别一段文字的语言有多种途径，在这个以AI为热点的时代，我们也可以给自己的应用强行加上AI，然后就能加上“智慧”的名字“自主研发成功”后去吹牛逼。今天我带大家来看看如何使用微软智慧云Azure提供的AI认知服务来识别一段文字的语言。

本文的前提条件是你得有一个Azure国际版的订阅，免费试用的也行。

新建Azure认知服务账户

点击"Create a resouce"，然后搜索"Translator"，选择"Translator Text"，这是Azure认知服务的其中一种应用，主要用途是做翻译，但我们也能用来识别文字的语言。

在Name中指定一个名称，可以任意，不影响程序开发。选择一个Pricing tier，这里我选的F0是免费的。Resource group也可以任意指定，不会影响程序开发。

创建完成后，到Keys中复制一个Key，Key1和Key2都可以使用，作用是完全一样的，没有什么讲究。

.NET Core 调用认知服务

Azure认知服务提供了REST接口，所以我们在.NET Core里可以像使用任何REST API一样，构造请求，并解析返回的JSON字符串。

TextLanguageDetector

新建一个名为TextLanguageDetector的类。用来封装调用Azure认知服务的操作。定义属性Host、Route、SubscriptionKey。其中SubscriptionKey就是之前从Azure Portal里复制的那个Key。这个需要让调用者根据自己的Azure账户自由调整，所以留在构造函数参数里。Host和Route是固定的，因此可以写死在程序里。

public class TextLanguageDetector

{

    public string Host { get; } = "https://api.cognitive.microsofttranslator.com";

    public string Route { get; } = "/detect?api-version=3.0";

    public string SubscriptionKey { get; }

    public TextLanguageDetector(string subscriptionKey)

    {

        SubscriptionKey = subscriptionKey;

    }

    public async Task<DetectResult> DetectAsync(string text)

    {

        // ...

    }

}

DetectAsync方法接受的是需要识别的文本，返回的DetectResult类型也是我们自己定义的，它的定义稍后再看。我们先看看该方法的具体实现：

if (string.IsNullOrWhiteSpace(text))

{

    throw new ArgumentNullException(nameof(text));

}

object[] body = { new { Text = text } };

var requestBody = JsonConvert.SerializeObject(body);

using (var client = new HttpClient())

using (var request = new HttpRequestMessage())

{

    request.Method = HttpMethod.Post;

    request.RequestUri = new Uri(Host + Route);

    request.Content = new StringContent(requestBody, Encoding.UTF8, "application/json");

    request.Headers.Add("Ocp-Apim-Subscription-Key", SubscriptionKey);

    var response = await client.SendAsync(request);

    var jsonResponse = await response.Content.ReadAsStringAsync();

    return new DetectResult(jsonResponse);

}

非常简明直接。使用POST动作向认知服务的终端地址提交一个构造的Body，内容Text为方法的输入参数，即要识别的文字。API的认证方式使用SubscriptionKey。最终拿到的jsonResponse是识别结果，转为DetectResult类型。

假设识别的是简体中文，并且没有发生异常，那么Azure认知服务的返回Json会是这样：

[

    {

        "language": "zh-Hans",

        "score": 1.0,

        "isTranslationSupported": true,

        "isTransliterationSupported": true,

        "alternatives": [

            {

                "language": "ja",

                "score": 1.0,

                "isTranslationSupported": true,

                "isTransliterationSupported": true

            }

        ]

    }

]

language是语言代码，zh-Hans就是简体中文。score表示AI认为有多大的可能性是该语言，1.0就是非常确信。对于文本“予力地球上每一人、每一组织，成就不凡”的识别结果，出现了两种确信的语言：简体中文和日语。但日语是alternatives的，所以AI基本断定，该语言为简体中文。具体的语言代码和语言名称对应关系可以从这里找到：

var cultures = CultureInfo.GetCultures(CultureTypes.AllCultures);

构造DetectResult

为了让我们程序对调用者更加友好，我们不会只返回Json。我根据Azure认知服务可能返回的两种情况：成功、失败，构造了DetectResult类型：

public class DetectResult

{

    public string RawJson { get; set; }

    public bool IsSuccess => !RawJson.Contains("\"error\"");

    public string ErrorMessage

    {

        get

        {

            var obj = JsonConvert.DeserializeObject<dynamic>(RawJson);

            return obj.error.message.ToString();

        }

    }

    public DetectResult(string rawJson)

    {

        RawJson = rawJson;

    }

    public List<TextCogResult> ToCogResults()

    {

        return IsSuccess ? JsonConvert.DeserializeObject<List<TextCogResult>>(RawJson) : null;

    }

}

RawJson用来存放认知服务返回的Json本身，可以让调用者去做一些更加高级的自定义解析。IsSuccess表示调用是否有成功，如果不成功的话用户可以检查ErrorMessage获得具体错误消息。成功的话可以调用ToCogResults()方法把结果解析到TextCogResult类型里去。这个方法返回的是一个List，因为输入的文本不一定只有一种语言。

public class TextCogResult

{

    public string Language { get; set; }

    public float Score { get; set; }

    //public bool IsTranslationSupported { get; set; }

    //public bool IsTransliterationSupported { get; set; }

    public Alternative[] Alternatives { get; set; }

}

public class Alternative

{

    public string Language { get; set; }

    public float Score { get; set; }

    //public bool IsTranslationSupported { get; set; }

    //public bool IsTransliterationSupported { get; set; }

}

以上的所有代码都可以封装到一个.NET Standard类库里，这样就可以跨.NET Framework, .NET Core或者Xamarin使用了。

为了方便大家，我已经发布了可以直接使用的NuGet包

https://www.nuget.org/packages/AzureAILanguageDetector

应用程序

以.NET Core控制台应用为例，调用TextLanguageDetector并输出语言的本地名称和英语名称：

var texts = new[]

{

    "Empower every person and every organization on the planet to achieve more",

    "予力地球上每一人、每一组织，成就不凡"

};

var dt = new TextLanguageDetector("你的Key");

foreach (var text in texts)

{

    var result = dt.DetectAsync(text).Result;

    if (result.IsSuccess)

    {

        var r = result.ToCogResults();

        var cultures = CultureInfo.GetCultures(CultureTypes.AllCultures);

        var ctr = cultures.FirstOrDefault(c => c.Name == r.First().Language);

        if (ctr != null) Console.WriteLine($"{ctr.EnglishName} - {ctr.NativeName}");

    }

    else

    {

        Console.WriteLine(result.ErrorMessage);

    }

}

本文示例代码：https://github.com/EdiWang/DotNet-Samples/tree/master/CogSvcLngDetect

参考资料：https://docs.microsoft.com/en-us/azure/cognitive-services/translator/quickstart-csharp-detect