大数据技术发展过剩 通用化和个性化需求是最大挑战

大数据日益成为国家基础性战略资源，推动大数据发展，已成为从政府到民间、从行业组织到企业机构的社会共识。如何用好大数据，让大数据带来可量化的价值？是传统企业转型能否成功的重中考量因素。

9月11日至12日，T11 2017暨TalkingData智能数据峰会在北京举办，来自全球近5000位专家、学者、数据科学家、分析师和企业管理者等汇聚T11，探讨大数据与行业结合的技术趋势、场景应用、前沿案例。

奇点大学执行总裁Kian Gohar在主题为“指数级创新”的主题演讲中指出，书信息ji指数级增长时代已经来临：计算能力、人工智能、传感器、机器人、交互模式、大众化应用的聚合技术，为世界带来指数级飞跃，并改变每个行业。

TalkingData 首席执行官崔晓波在峰会中强调了——数据改变企业决策、数据改善人类生活。TalkingData今年将侧重赋能合作伙伴，同时注重AI等技术创新和实践，致力于用数据驱动商业。

---

活动第一天下午，CSDN记者就大数据技术趋势、场景应用等问题，与TalkingData的三位技术专家：CTO肖文峰、产品VP 闫辉、首席架构师 黄洋成进行了沟通。

大数据技术平台逊于数据源发展

大数据有很多种分类方式，一类是关于大数据技术的平台，另一类是关于数据源部分。平台方面，一般是有开源软件，做成型的类似于CDH版本的平台，还有在上面做一些相关的各种数据库，各种中间的管理平台这样的技术路线的公司。闫辉说：“技术平台这块发展性并不是特别大。”

另外一块域是关于数据的数据源部分，数据源以前大家会认为拥有数据量的，像TalkingData在线的互联网平台，聚集了一大堆的数据量。还有像电信这样的数据源，闫辉认为，这块的发展在这5年之内将非常快，数据最终变成了一种以服务的方式提供出去。

大数据技术发展过剩

TalkingData从去年开始跟进整个大数据的技术生态，2016年从底层开始往上整理，包括：数据工程、数据采集、加工处理、分析到形成决策。它们发现，大数据技术不是遇到瓶颈，而是某种程度有一点过剩，在任何一个细小的领域都能找到好几家包括商业的公司，包括：提供类似的技术开源公司，优化到存储的公司，有各种各样的公司在做这样的事情。肖文峰认为：“Hadoop公司去年是什么公司，今年依然是什么公司，没有突破性的革命。”各大公司业务更多集中在数据应用领域上，技术本质上并没有什么大的突破。

大数据技术落地主要是体现在两个方面

• 实时性的提升，包括从各个方面去优化，保证这个洞察，可更快得到对数据的洞察。
• 数据产品的平民化，包括之前提到的数据可视化的技术，还有别的智能化的技术，包括一些人工智能领域的功能，某种程度上都是为了降低技术使用的门槛，

大数据发展的最终目标是让业务用户直接操作数据。在决策上面，满足需求的前提条件是分析数据得到洞察，客户需要别人告知他未来发生什么，如何去应对。

数据分析仅是TalkingData的业务线

谈到和其他数据分析公司的差异化比较，闫辉表示，数据分析业务线只是其一条子产品线，TalkingData的主营产品是SmartDP（智能数据平台），通过整体的平台加上数据原材料一起在一个业务垂直域做贡献。“我没把技术沉的更深一点，而不是垂到一个简短的分析业务线，我们是以移动分析起家，但是我们不是一直停留在那个层面上。” 闫辉说。

通用化和个性化需求挑战

TalkingData一方面采集数据，另外一方面，把技术和数据应用到客户实际场景帮客户解决问题。TalkingData需要一方面降低客户使用成本，把这大数据服务通用化。另外一方面，需要根据客户自己的数据属性、质量的不同，提供个性化服务。

“这是现在大数据行业所有技术公司和解决按公司面临的普遍问题，目前来讲很难看到一套技术方案解决所有的问题。” 肖文峰说。

如何解读客户数据

TalkingData经常会遇到客户数据质量匹配度不是特别高的问题。TalkingData需要了解客户到底需要什么样精度、质量的数据，不同数据质量，为此付出的成本也不一样。“公司要求其前端的咨询人还有售前人员对数据质量有清晰的了解，把客户的业务问题能够精准翻译成数据问题。”这是肖文峰对他们的要求。

此外，TalkingData的数据部门，需要很量化的够从完整性、及时性、准确性、一致性，评估出数据的质量。有了透明化的评估以后，后面的就能知道这个数据是什么样的质量状况，应该用在什么样的场景，适合用在什么样的场景。通过这两方面努力的结果，最终解决客户的问题。

客户数据孤岛问题如何解决？

TalkingData一直在研究解决数据孤岛问题，针对不同场景都有了一些探索。黄洋成通过两个方面介绍了TalkingData的解决方案：

数据保护方面，像隐私保护有一种叫差分隐私，苹果和谷歌都号称在用。TalkingData在有一些领域也会做尝试，通常来说，保证输出位置数据的同时需要尽量不泄露隐私，差分隐私这种技术就会应用到这上面。

数据质量方面，如果你脱离了需求去谈质量没办法谈，相同的数据需求不一样，你对他的质量评估还是不一样的，数据本身的真假对谁都是跟需求没有关系的。

---

后记

通过参加T11 2017大会，CSDN深切体会到了国内大数据社区和大数据生态的蓬勃发展。虽然是一个技术厂商主导的大会，但开放、合作、共赢的思想在各个演讲话题中传递。在这里，大数据并不是高高在上的技术理念，而是和企业切身业务相结合的服务产品，希望活动能促进更多的传统企业通过大数据技术完成信息化转型，CSDN将继续关注大数据技术领域的发展。