2018云栖大会.上海之大数据交流

    阿里每年都会主办一次云栖大会，主要是开发者大会，同时会有其他一些合作企业参与。一般会在几个城市举办，会议从关注产品技术到服务并重，从客户应用到云端生态建设，不断突破创新，全方位展示云计算最新应用和实践成果，成为引领云计算行业创新发展风向标。今年的主题是“驱动数字中国”，上海峰会的时间是6.7-6.8号，地点上海世博中心。云栖大会的信息见https://yunqi.aliyun.com。

    第一次参加云栖大会，转岗后的工作需要，加上兴趣使然，听了一天关于数据相关的分论坛。上午“ClouderLab大数据专场”，下午“阿里巴巴大数据专场”，收获挺多了，见识了行业内最新的产品技术，主要有如下几点。

• Clouder Lab 大数据专场

    基于阿里云大数据平台构建游戏数据运营支撑平台为主题，使用DataWorks/MaxCompute/QuickBI等实现数据运营支撑平台。例如以游戏行业的数据运营为例子，从海量日志中挖掘关键价值，数据的抽取转换-导入-BI展示，现场还直接操作QuickBI的使用。

• 阿里巴巴大数据专场

1. DataStudio工具的推荐，现场看了确实很不错，但是回来没找到免费版的，暂时用不到。
2. 计算引擎、研发体系、应用生态，阿里全域赋能，助力企业发展的一系列产品体系，如MaxCompute、流式计算、分析型数据库以及Data Lake Analytics等强大高效的数据引擎，大数据研发平台Dataworks、机器学习平台PAI等研发体系，推荐引擎、企业图谱、智能语言交互、人脸识别、自然语言交互等等应用生态。这些产品对于我们公司现有的主营业务似乎都用不到，而一些新的方向和企业级服务其实是可以尝试的。
3. 针对于上面2中的产品体系中Analytics对我们还有不错的使用价值，如今数据实时化的发展趋势，传统的解决方案有报表库的瓶颈（计算扩展性和储存限制）、ETL链路长（时效性差和复杂度高），基于AnalyticDB构建企业实时数仓，可以降低企业级大数据门槛，如我们公司应用到手机生产日志处理、企业运营的一些日志等等。
4. 针对于上面2中还有一个流式计算，对我们来说最直观的感受场景就是双十一淘宝的大屏显示。如果用在我们想要的大屏显示，简直就是高射炮打蚊子了，对于数据量小的企业，性价比不高。
5. 有两个合作方的高层来展示了如何将阿里大数据平台融合自身的实际业务，来提升效率，实现数字化运营。一个是做高精度地图的来解决城市交通拥堵问题；一个是快消食品行业，借助数字化实现业绩的增长，一个二八原则比较深刻，80%的靠数字驱动，20%以经验做决策。通过这样的案例，更形象的说明了大数据已经渗透到各个行业中了。
6. 最后是阿里手机淘宝个性化推荐技术的介绍，个性化推荐如今优势很明显，提高用户的粘性、提升用户体验、提高运营效率、提升商业收益以及生态繁荣度等。听讲述之前，我只能类比今日头条上的算法，听完讲述之后，我才知道这其中有很多需要构建的，如下图所示，比如数据清洗这个模块就应该要考虑到一些作弊点击、算法机制这块更加成熟才能精准等。所以如果企业自建的话，需要面临很多挑战，如开发和运维的成本高、算法调优漫长、冷启动数据的困难、项目开发周期过长、技术平台的管理复杂等等。所以，如果中小企业的话，建议直接采用这套个性化推荐，只需要专注去做数据输入、运营和算法选取配置、场景定义，就能得到推荐结果。也可以在这个架构上继续开发，如自定义算法等。
7. 另外，一个阿里开发者文档规范，这个可以作为企业中的代码开发规范的借鉴使用。其中MySQL规范和Java规范都值得我们参考使用。阿里巴巴Java开发.pdf

其他

    另外，还能看到很多其他公司的产品展示，和生活息息相关的视频监控应用到学生上课是否认真、跑步机上的身体机能监测、甚至农产品、水果和养猪上的大数据应用等，让你见识到未来大数据会应用到各个行业中去。

注：文中的图片来自峰会现场，pdf转载于阿里云栖官网。