【华为数据之道学习笔记】7-4 基于数字世界的“软感知”能力

“软感知”能力的分类

        物理世界的“硬感知”是将物理对象构建到数字世界中的主要通道，是构建数据孪生的关键，而已经存在于数字世界中的那些分散、异构信息，可通过“软感知”能力来利用。目前“软感知”比较成熟，并随着数字原生企业的崛起而得到了广泛的应用。我们将“软感知”分为3类，如图7-8所示。

        1. 埋点

        埋点是数据采集领域，尤其是用户行为数据采集领域的术语，指的是针对特定用户行为或事件进行捕获的相关技术。埋点的技术实质，是监听软件应用运行过程中的事件，当需要关注的事件发生时进行判断和捕获。

        埋点的主要作用是能够帮助业务和数据分析人员打通固有信息墙，为了解用户交互行为、扩宽用户信息和前移运营机会提供数据支撑。在产品数据分析的初级阶段，业务人员通过自有或第三方的数据统计平台了解App用户访问的数据指标，包括新增用户数、活跃用户数等。这些指标能帮助企业宏观地了解用户访问的整体情况和趋势，从总体上把握产品的运营状况，通过分析埋点获取的数据，制定产品改进策略。

        埋点技术在当前主要有以下几类，每一类都有自己独特的优缺点，可以基于业务的需求，匹配使用。

• 代码埋点是目前比较主流的埋点方式，业务人员根据自己的统计需求选择需要埋点的区域及埋点方式，形成详细的埋点方案，由技术人员手工将这些统计代码添加在想要获取数据的统计点上。

• 可视化埋点通过可视化页面设定埋点区域和事件ID，从而在用户操作时记录操作行为。

• 全埋点是在SDK部署时做统一的埋点，将App或应用程序的操作尽量多地采集下来。无论业务人员是否需要埋点数据，全埋点都会将该处的用户行为数据和对应产生的信息全采集下来。

        2. 日志数据采集

        日志数据收集是实时收集服务器、应用程序、网络设备等生成的日志记录，此过程的目的是识别运行错误、配置错误、入侵尝试、策略违反或安全问题。

        在企业业务管理中，基于IT系统建设和运作产生的日志内容，可以将日志分为三类。因为系统的多样化和分析维度的差异，日志管理面临着诸多的数据管理问题。

• 操作日志，指系统用户使用系统过程中的一系列的操作记录。此日志有利于备查及提供相关安全审计的资料。

• 运行日志，用于记录网元设备或应用程序在运行过程中的状况和信息，包括异常的状态、动作、关键的事件等。

• 安全日志，用于记录在设备侧发生的安全事件，如登录、权限等。

        3. 网络爬虫

        网络爬虫（Web Crawler）又称为网页蜘蛛、网络机器人，是按照一定的规则自动抓取网页信息的程序或者脚本。搜索和数字化运营需求的兴起，使得爬虫技术得到了长足的发展，爬虫技术作为网络、数据库与机器学习等领域的交汇点，已经成为满足个性化数据需求的最佳实践。Python、Java、PHP、C#、Go等语言都可以实现爬虫，特别是Python中配置爬虫的便捷性，使得爬虫技术得以迅速普及，也促成了政府、企业界、个人对信息安全和隐私的关注。

“软感知”能力在华为的实践

        “软感知”主要面向产品持续运营提供服务，基于对产品日志、用户行为的感知，改善产品功能。以华为内部数据管理平台为例（如图所示），数据管理平台的数字化运营，需要识别用户行为，进而提升运营效率与用户数据消费的体验。通过对平台埋点，捕捉用户在界面上从数据定位到最终消费的浏览过程和停留时间等信息，并关联

用户的部门、职位、所在地等信息，自动生成用户画像和数据画像，确定细分用户范围，界定相同认知背景和业务场景的用户，提供可识别的分类资产用于搜索，界定数据资产分类，面向不同用户界定不同的资产范围，减少匹配差异和搜索引擎复杂度，训练搜索引擎和推荐算法，提供最优数据推荐结果和排序位置。

        12类感知能力在企业中的应用，突破了原有人工维护数据的局限。但是不管是“软感知”还是“硬感知”，产生的数据在没有纳入企业整体的数据管理体系情况下，如果只以独立数据的形式存在，是无法应对复杂的企业数字化变革的。