图1:谷歌最新款旗舰智能手机Pixel 4
不久前在纽约硬件发布会上首次亮相后,谷歌2019年款旗舰智能手机Pixel 4和Pixel 4 XL本周开始销售。
与前三个版本类似,人工智能(AI)为Pixel许多独有的新功能和改进提供了动力。
这款设备上的AI功能是此次谷歌最新硬件发布会上的主旋律。 Pixel 4使用神经内核(Neural Core),这是从Pixel 3的Visual Core芯片升级而来的TPU芯片。 Pixel 4提供了许多先前已经存在的AI支持功能,比如检测曲目的Now Playing,但它也有四大改进,包括语音识别、下一代语音助手Google Assistant、多款新摄像功能以及用于解锁手机和支付的面部识别功能。
这款设备上的AI功能是此次谷歌最新硬件发布会上的主旋律。 Pixel 4使用神经内核(Neural Core),这是从Pixel 3的Visual Core芯片升级而来的TPU芯片。 Pixel 4提供了许多先前已经存在的AI支持功能,比如检测曲目的Now Playing,但它也有四大改进,包括语音识别、下一代语音助手Google Assistant、多款新摄像功能以及用于解锁手机和支付的面部识别功能。
摄像头
智能手机制造商不再以销售手机整机为主,而是以推销摄像头为重点。 这就是为何谷歌在最近发布会上花了很长时间谈论Pixel 4摄像头的原因。 AI建议在低光环境下使用夜视(Night Sight)功能,并对Portrait Mode模式图像进行深度预测。 Pixel 4的Portrait Mode一如既往地好用。
智能手机制造商不再以销售手机整机为主,而是以推销摄像头为重点。 这就是为何谷歌在最近发布会上花了很长时间谈论Pixel 4摄像头的原因。 AI建议在低光环境下使用夜视(Night Sight)功能,并对Portrait Mode模式图像进行深度预测。 Pixel 4的Portrait Mode一如既往地好用。
图2:
使用Pixel 4 XL上Portrait Mode功能拍摄照片
使用Pixel 4的深度预测Portrait Mode拍照,似乎效果比之前Pixel机型强大得多。
夜视功能也得到改善。
如果你正在进行手持拍摄,夜视功能可以提供一些被称为“疯狂科学”、给人留下深刻印象的照片。
但是如果你使用三脚架或其他东西支撑住Pixel 4,使其处于静止状态,夜视功能可以持续三分钟或更长时间,这不仅可以提供更清晰的低光图像,甚至可以拍摄天空中的恒星。 测试人员的初步测试发现,这个功能并未夸大。
但是如果你使用三脚架或其他东西支撑住Pixel 4,使其处于静止状态,夜视功能可以持续三分钟或更长时间,这不仅可以提供更清晰的低光图像,甚至可以拍摄天空中的恒星。 测试人员的初步测试发现,这个功能并未夸大。
图3:
使用Pixel 4 XL上的夜视功能进行天文摄影
与其他Pixel手机上的摄像头相比,Pixel 4摄像头另一个很大的区别是你可以拍摄超4K视频,只需点击并按住相机按钮就可以记录视频。
向下滑动扩展控制,可以让用户启用诸如Frequent Faces之类的功能。
基于机器学习的白平衡首先被引入到Pixel 3中,然后继续使用在Pixel 4上,以便提供具有精确色温的图片。
图4:
加州奥克兰论坛大厦四个街区外的超级分辨率变焦图片
超级分辨率变焦(Super Res Zoom)是Pixel 4的另一个主要功能,它使用了新的远摄镜头,变焦高达8倍,与以前的数码变焦相比,效果更好。
Frequent Faces功能可以记录并存储有关用户定期拍摄的人的数据,以便形成Top Shot照片推荐结果。
面部识别
面部识别技术的采用增强了Pixel 4中的许多功能,比如解锁手机和支付的面部解锁(Face Unlock)功能,以及识别你拍摄照片最多的人的Featured Faces功能。
Pixel 4采用了运动感知(Motion Sense)雷达,当手机感觉到移动时就会处罚该功能,谷歌声称面部解锁比苹果iPhone上的Face ID更快。 Pixel 4的面部识别功能可以通过面部扫描来验证Google Pay交易,而Apple Pay用户在发布时无法使用这个功能。 但谷歌有史以来首个智能手机的面部识别系统正在经历诸多重大的成长烦恼。
BBC上周进行的一项调查发现,即使人们闭上眼睛,谷歌的脸部解锁功能也能发挥作用,这让许多用户感到担忧。 事实是,即使在指纹扫描的Touch ID世界中,怀有恶意的人也可以强迫某人打开手机,但看到人脸可能比扫描手指更容易。
最有可能误用此类设计缺陷的可能是配偶解锁其伴侣的手机,但Pixel 4在昏迷、睡觉或死亡的人脸上工作时,很容易想到这个恶意漏洞。 谷歌发言人表示,该公司最初并没有计划对这个功能进行任何修复,但最近添加了检测眨眼的系统,并将在未来几个月作为软件更新的一部分发布。
另一个需要改进的潜在领域是谷歌在深色皮肤人群中的面部识别性能。 在Pixel 4发布的几周前,《纽约每日新闻》报道称,为谷歌工作的承包商使用了有问题的策略来提高其面部识别系统识别深色皮肤的人的能力,比如不够坦率地说明面部扫描将如何使用,或者将用于提高谷歌面部识别能力的扫描视为一种游戏。 承包商Randstad显然参加了洛杉矶的黑人娱乐电视奖(BET Awards)颁奖活动,并通过分发价值5美元的星巴克礼品卡在亚特兰大收集流浪者的面部数据。
这些发现引起了亚特兰大市律师的注意,并提出了一个问题: 人们脸部图像的合理价格是多少? 在正在进行的调查中,谷歌承包商的面部扫描收集项目已暂停。
将来的更新可能会促使面部扫描功能性能提高。 在深色皮肤人群中,Pixel 4在理想条件下与平衡照明效果非常一致,但有时在合理的照明条件下,面部识别功能却无法百分百精确识别出某些人。 在连续多次执行面部解锁失败后,手机会建议用户删除此前的面部配置文件,并创建一个新的配置文件。
重新注册帮助了许多人,但还没有人正式统计谷歌面部解锁成功或失败的案例。 不过,虽然早上光照条件较好时,可以流畅地使用面部解锁功能打开手机。 但当晚上在车里,在头顶照明环境下,或在其他照明不太理想的常见情况下,解锁手机可能变得更困难。
面部识别技术的采用增强了Pixel 4中的许多功能,比如解锁手机和支付的面部解锁(Face Unlock)功能,以及识别你拍摄照片最多的人的Featured Faces功能。
Pixel 4采用了运动感知(Motion Sense)雷达,当手机感觉到移动时就会处罚该功能,谷歌声称面部解锁比苹果iPhone上的Face ID更快。 Pixel 4的面部识别功能可以通过面部扫描来验证Google Pay交易,而Apple Pay用户在发布时无法使用这个功能。 但谷歌有史以来首个智能手机的面部识别系统正在经历诸多重大的成长烦恼。
BBC上周进行的一项调查发现,即使人们闭上眼睛,谷歌的脸部解锁功能也能发挥作用,这让许多用户感到担忧。 事实是,即使在指纹扫描的Touch ID世界中,怀有恶意的人也可以强迫某人打开手机,但看到人脸可能比扫描手指更容易。
最有可能误用此类设计缺陷的可能是配偶解锁其伴侣的手机,但Pixel 4在昏迷、睡觉或死亡的人脸上工作时,很容易想到这个恶意漏洞。 谷歌发言人表示,该公司最初并没有计划对这个功能进行任何修复,但最近添加了检测眨眼的系统,并将在未来几个月作为软件更新的一部分发布。
另一个需要改进的潜在领域是谷歌在深色皮肤人群中的面部识别性能。 在Pixel 4发布的几周前,《纽约每日新闻》报道称,为谷歌工作的承包商使用了有问题的策略来提高其面部识别系统识别深色皮肤的人的能力,比如不够坦率地说明面部扫描将如何使用,或者将用于提高谷歌面部识别能力的扫描视为一种游戏。 承包商Randstad显然参加了洛杉矶的黑人娱乐电视奖(BET Awards)颁奖活动,并通过分发价值5美元的星巴克礼品卡在亚特兰大收集流浪者的面部数据。
这些发现引起了亚特兰大市律师的注意,并提出了一个问题: 人们脸部图像的合理价格是多少? 在正在进行的调查中,谷歌承包商的面部扫描收集项目已暂停。
将来的更新可能会促使面部扫描功能性能提高。 在深色皮肤人群中,Pixel 4在理想条件下与平衡照明效果非常一致,但有时在合理的照明条件下,面部识别功能却无法百分百精确识别出某些人。 在连续多次执行面部解锁失败后,手机会建议用户删除此前的面部配置文件,并创建一个新的配置文件。
重新注册帮助了许多人,但还没有人正式统计谷歌面部解锁成功或失败的案例。 不过,虽然早上光照条件较好时,可以流畅地使用面部解锁功能打开手机。 但当晚上在车里,在头顶照明环境下,或在其他照明不太理想的常见情况下,解锁手机可能变得更困难。
图5:
使用面部解锁功能解锁Pixel 4 XL失败后进行自拍
手机上的面部识别设置需要大约30秒时间,慢慢地将脸转向不同的方向,以完成面部扫描。
这比Nest Hub Max智能显示屏上的面部匹配捕捉过程更宽泛,可能是因为面部识别取代了指纹扫描仪,指纹扫描仪曾经是解锁Pixel手机的主要手段,而且在这种情况下,面部识别只需要区分每户最多6个人之间的差异。
对于深色皮肤的人来说,面部识别功能表现不佳是个全行业性问题。 随着这款手机公开上市,将对谷歌面部识别在浅色和深色肤色人群中的表现进行更多的评估和分析。 尽管测试人员经常遇到面部解锁功能失败的情况,但现在将其称为失败技术还为时过早,毕竟谷歌的面部识别才刚刚起步。
对于深色皮肤的人来说,面部识别功能表现不佳是个全行业性问题。 随着这款手机公开上市,将对谷歌面部识别在浅色和深色肤色人群中的表现进行更多的评估和分析。 尽管测试人员经常遇到面部解锁功能失败的情况,但现在将其称为失败技术还为时过早,毕竟谷歌的面部识别才刚刚起步。
下一代智能助手
正如谷歌硬件发布会上展示的那样,新的谷歌智能助手Google Assistant可以打开应用程序、搜索网络、获取方向,并将Google Assistant搜索查询结果发送给联系人。
下一代Google Assistant使用“连续对话”(Continued Conversation)来启动多回合对话。 这意味着,在用户说出初始的“OK,Google”唤醒语后,Google Assistant将执行该命令,然后继续监听其他命令,直到用户说“停止”或“谢谢”结束对话。
智能显示器和智能音箱上的“连续对话”功能早已经出现,但当其引入智能手机上时,它会提供一连串的卡片和内容。 这使用户可以获得与智能显示屏不同的体验,智能显示屏在回答每个问题后都会返回到屏幕原来的图像。 让你来回滚动并完成动作的信息,也能帮助凸显你自己的意识流。
这意味着,你可以非常迅速地从向谷歌询问任何给定主题的问题,甚至深入该主题并继续了解更多内容,然后与朋友分享或根据这些信息采取行动。 当Google Assistant在后台运行时,用户还可以与应用程序或网站进行交互,这是一种真正的多模式体验。
不过,这种智能助手仍有不足之处。 告诉Google Assistant与朋友分享,它可能只会截图。 测试人员曾要求Google Assistant在不同的场合与朋友分享电子邮件和播客片段,但它只是拍了照片。 例如,Google Assistant可以分享天气报告信息,但它不适用于网站或电子邮件之类的东西,URL链接几乎总是更有帮助。
还需要注意的是,新的Google Assistant使用了设备上的语言模型和神经内核,使其比其他智能手机中的同类产品更快,但这并不意味着彻底终结延迟。 由于Wi-Fi或数据连接速度慢,新的Google Assistant仍然可能会遇到延迟。 而且新的Google Assistant将不会在G Suite帐户发布时提供。 看起来令人感到奇怪的是,旨在帮你提高效率的新Google Assistant却无法与G Suite兼容工作。
最后,新的Google Assistant可以与应用程序交互,并且在呈现Google Photos内容方面做得更好,但它仍然没有上下文感知能力。 因此,如果你打开Google Maps,然后说“找到最近的花店”,这个智能助手将退出Google Maps,并返回到Web搜索来共享结果。
新的Google Assistant在Pixel 4中也得到了稍显不同的外观,只在屏幕底部显示为发光的谷歌原色。 内置Google Assistant的Pixel 4为文本的实时转录腾出了空间。 这有助于确认助手正确听到了用户的请求,屏幕上的文字移动会让你知道它正在倾听,并为每个语音命令建立一种节奏。
正如谷歌硬件发布会上展示的那样,新的谷歌智能助手Google Assistant可以打开应用程序、搜索网络、获取方向,并将Google Assistant搜索查询结果发送给联系人。
下一代Google Assistant使用“连续对话”(Continued Conversation)来启动多回合对话。 这意味着,在用户说出初始的“OK,Google”唤醒语后,Google Assistant将执行该命令,然后继续监听其他命令,直到用户说“停止”或“谢谢”结束对话。
智能显示器和智能音箱上的“连续对话”功能早已经出现,但当其引入智能手机上时,它会提供一连串的卡片和内容。 这使用户可以获得与智能显示屏不同的体验,智能显示屏在回答每个问题后都会返回到屏幕原来的图像。 让你来回滚动并完成动作的信息,也能帮助凸显你自己的意识流。
这意味着,你可以非常迅速地从向谷歌询问任何给定主题的问题,甚至深入该主题并继续了解更多内容,然后与朋友分享或根据这些信息采取行动。 当Google Assistant在后台运行时,用户还可以与应用程序或网站进行交互,这是一种真正的多模式体验。
不过,这种智能助手仍有不足之处。 告诉Google Assistant与朋友分享,它可能只会截图。 测试人员曾要求Google Assistant在不同的场合与朋友分享电子邮件和播客片段,但它只是拍了照片。 例如,Google Assistant可以分享天气报告信息,但它不适用于网站或电子邮件之类的东西,URL链接几乎总是更有帮助。
还需要注意的是,新的Google Assistant使用了设备上的语言模型和神经内核,使其比其他智能手机中的同类产品更快,但这并不意味着彻底终结延迟。 由于Wi-Fi或数据连接速度慢,新的Google Assistant仍然可能会遇到延迟。 而且新的Google Assistant将不会在G Suite帐户发布时提供。 看起来令人感到奇怪的是,旨在帮你提高效率的新Google Assistant却无法与G Suite兼容工作。
最后,新的Google Assistant可以与应用程序交互,并且在呈现Google Photos内容方面做得更好,但它仍然没有上下文感知能力。 因此,如果你打开Google Maps,然后说“找到最近的花店”,这个智能助手将退出Google Maps,并返回到Web搜索来共享结果。
新的Google Assistant在Pixel 4中也得到了稍显不同的外观,只在屏幕底部显示为发光的谷歌原色。 内置Google Assistant的Pixel 4为文本的实时转录腾出了空间。 这有助于确认助手正确听到了用户的请求,屏幕上的文字移动会让你知道它正在倾听,并为每个语音命令建立一种节奏。
语音识别
多年来,我们确实可以使用会话式AI将语音转化为文本,而速度比你在智能手机上用拇指打字更快。 语音到文本的转录可以在越来越多的地方找到,使用Pixel 4,用户可以自动转录视频中讲话人的声音。
实时字幕提供播客中音频、音频消息和视频的文本转录,包括从用户的相机卷到YouTube视频等。 偶尔可能会有遗漏,但这是个非常有用的功能,特别是当你不能听音频,但仍然可以欣赏视频和其他内容时。 只需轻点并按住屏幕上出现的文本即可将其移动,双击即可扩展以显示更多文本。
新的Recorder应用程序还可以转录用户的语音记录,这一功能允许你搜索音频文件中的语句并导出文本记录。 Recorder应用程序使用实时语音到文本的转录,有时会出错,这与其他语音转录服务差不多。 Recorder还可以自动识别抄本中的关键字,并基于转录中的关键字、音乐、掌声或语音推荐音频消息标题。
缺点在于,Recorder应用程序不能很好地拆分或标记对话中的演讲者身份,因此转录的语句可能时不时地会相互混合。 Recorder的软件更新可能会解决这样一个事实,即它不会将时间戳添加到可以导出的转录文本中。
这些新功能中的每一个都使用自然语言理解技术,这种技术在GBoard中已有多年,用于编写Google Doc或发送消息。
多年来,我们确实可以使用会话式AI将语音转化为文本,而速度比你在智能手机上用拇指打字更快。 语音到文本的转录可以在越来越多的地方找到,使用Pixel 4,用户可以自动转录视频中讲话人的声音。
实时字幕提供播客中音频、音频消息和视频的文本转录,包括从用户的相机卷到YouTube视频等。 偶尔可能会有遗漏,但这是个非常有用的功能,特别是当你不能听音频,但仍然可以欣赏视频和其他内容时。 只需轻点并按住屏幕上出现的文本即可将其移动,双击即可扩展以显示更多文本。
新的Recorder应用程序还可以转录用户的语音记录,这一功能允许你搜索音频文件中的语句并导出文本记录。 Recorder应用程序使用实时语音到文本的转录,有时会出错,这与其他语音转录服务差不多。 Recorder还可以自动识别抄本中的关键字,并基于转录中的关键字、音乐、掌声或语音推荐音频消息标题。
缺点在于,Recorder应用程序不能很好地拆分或标记对话中的演讲者身份,因此转录的语句可能时不时地会相互混合。 Recorder的软件更新可能会解决这样一个事实,即它不会将时间戳添加到可以导出的转录文本中。
这些新功能中的每一个都使用自然语言理解技术,这种技术在GBoard中已有多年,用于编写Google Doc或发送消息。
选自:
VentureBeat
作者:
Khari Johnson
编译:
网易智能 参与:
小小
加
入
社
群
对AI感兴趣的小伙伴,快来加入网易智能社群吧!
和我们一起探讨AI的故事~
网易智能的AI社群有很多种呢~
包括:
AI芯片、医疗AI、金融AI、电商AI、自动驾驶、
教育AI、AIoT、机器人、物流AI、等12个社群哦
快快添加智能菌微信kaiwu_club,
说明身份即可加入
我们等着你呦!