大数据情报2018-6-19

《京东构建了全球最大的Kubernetes集群，没有之一》在 JDOS 1.0 中，因为容器更多的是以胖容器的形式存在，因此容器的使用相对来说是静态的，也就是一次调度完成后容器不会轻易迁移。除非节点故障、维护等特殊情况，则将其迁移到别的节点。而在 JDOS 2.0 中，情况就变得更为复杂了。JDOS 2.0 允许用户自动或者手动地进行应用的扩容缩容。并且，由于大数据、AI、serverless 等任务的引入，平台在将其与业务容器进行混合部署的同时，也需要具备对相关任务进行实时监控和异常驱逐的能力。而这些，对于调度平台的动态处理能力、时间规划能力都提出了更高的要求。接下来，我们将用一系列的文章，深入解剖阿基米德调度平台。

《阿里云弹性计算Apsara Block Storage正式发布，构建企业级分布式块存储服务平台》 6月13日，阿里云宣布弹性计算Apsara Block Storage产品正式发布，为企业级客户量身打造，构建高性能、弹性、可靠的大规模分布式块存储服务平台。 Apsara Block Storage可兼容多种类型的计算平台，包括阿里云ECS、ZStack、OpenStack、Kubernetes以及物理服务器等不同类型，帮助客户轻松应对云时代下海量存储资源的敏捷存取需求，适用于政府、金融、运营商和大型制造企业的线下数据中心云存储业务场景。

《MySQL现在已经正式支持文档存储》Oracle已经发布了他们的开源关系数据库管理系统MySQL 8。这个版本引入了许多改进，最受关注的可能是基于文档的存储，开发人员可以在同一个数据库中使用传统关系数据和“NoSQL”文档数据。该版本还提升了性能，增强了安全性，并改变了默认字符集以促进“移动优先”开发。

《刚刚，谷歌宣布5.5亿美元投资京东，将获超2700万股京东股票》谷歌和JD计划就一系列战略举措开展合作，包括在包括东南亚，美国和欧洲在内的世界各地区共同开发零售解决方案。通过运用JD的供应链和物流专业知识以及Google的技术优势，两家公司的目标是探索创建下一代零售基础设施解决方案，其目标是提供有用的，个性化和无摩擦的购物体验。

《如何防止密码被硬编码到代码中？Yelp开源了自己的解决方案》近日，美国的「大众点评」公司 Yelp 宣布正式开源其密码检测框架，该框架用于防止代码中的密码等相关敏感信息被提交到代码库中，它号称可以在保证安全性的同时不会给开发者的生产力带来任何影响。

《Facebook 开源其调试平台 Sonar，支持 Android 与 iOS》Sonar 是一个用于调试 iOS 和 Android 移动应用的平台，通过一个简单的界面，开发者可以可视化地审查和控制其 APP，除了可以直接使用，Sonar 还支持使用插件 API 进行扩展。三年前 Facebook 已经开源过一款基于 Chrome 开发者工具的 Android 调试桥 Stetho，此次发布的 Sonar 比之更加先进，主要体现在跨平台、更丰富的用户体验，以及最主要的可扩展性，官方建议开发者使用 Sonar 替代 Stetho。

《Quick Recovery Time with SQL Data Warehouse using User-Defined Restore Points》We are excited to announce that SQL Data Warehouse (SQL DW) now supports User-Defined Restore Points! SQL DW is a flexible and secure analytics platform for the enterprise optimized for running complex queries fast across petabytes of data.

《SmartHotel360 Microservices on Azure Kubernetes Service》During the Build 2018 keynote, Scott Hanselman, with help from Scott Guthrie, showed developers the new features available in Azure Kubernetes Service (AKS) and Azure Dev Spaces. To help you learn how to deploy microservices written in any framework to AKS we've updated the SmartHotel360 back-end microservices source code and deployment process to optimize it for AKS. You can clone, fork, or download the AKS and Azure Dev Spaces demo on GitHub.

《Introducing Cloud Dataflow’s new Streaming Engine》Many of our customers benefit from the design principle of separating compute from state storage used by Google in several Big Data services such as BigQuery and, most recently, in batch Cloud Dataflow pipelines using the Dataflow Shuffle. Today, we are launching Cloud Dataflow Streaming Engine in beta, to apply the same principle to streaming pipelines.

《New – Redis 4.0 Compatibility in Amazon ElastiCache》Amazon ElastiCache makes it easy for you to set up a fully managed in-memory data store and cache with Redis or Memcached. Today we’re pleased to launch compatibility with Redis 4.0 in ElastiCache. You can now launch Redis 4.0 compatible ElastiCache nodes or clusters, in all commercial AWS regions. ElastiCache Redis clusters can scale to terabytes of memory and millions of reads / writes per second to serve the most demanding needs of games, IoT devices, financial applications, and web applications.

《EKS vs. ECS: orchestrating containers on AWS》AWS announced Kubernetes-as-a-Service at re:Invent in November 2017: Elastic Container Service for Kubernetes (EKS). Since yesterday, EKS is generally available. I discussed ECS vs. Kubernetes before EKS was a thing. Therefore, I’d like to take a second attempt and compare EKS with ECS.

《AWS CloudTrail Event History Now Includes All Management Events》Starting today, AWS CloudTrail’s event history will automatically log all read and write management events for supported AWS services. Event history lets you view, filter, and download your recent AWS account activity. This new release allows you to gain additional visibility into your account actions taken over the past 90 days without setting up a trail.

《Amazon API Gateway Supports Private APIs》You can now create Private APIs in Amazon API Gateway. Private APIs can only be accessed from within your Amazon Virtual Private Cloud (VPC) using VPC Endpoints.

《Amazon MQ Now Supports AWS CloudFormation》Starting today you can provision Amazon MQ message brokers using AWS CloudFormation. Amazon MQ is a managed message broker service for Apache ActiveMQ. AWS CloudFormation automates the process of creating and managing Amazon MQ message brokers.

《为什么云计算服务是亚马逊先做出来？》最本质的一点，是深入到公司DNA中务实的文化，而DNA的形成发展，来自于残酷的发展环境。其次，有了文化的铺垫，依然不是所有人都可以玩云服务的，在最开始的时候，Amazon搞得开，搞得快。需要有软硬资源上的前提。最后，我想强调一点，在云服务萌芽以后，需要保持亲民才能持续发展。

《Thanos：实现支持无限数据存储的可伸缩Prometheus》Improbable部署了一个大型的Prometheus来监控他们的几十个Kubernetes集群。默认的Prometheus设置在查询历史数据、通过单个API调用进行跨分布式Prometheus服务器查询以及合并多个Prometheus数据方面存在困难。

《Netflix开源新作：大数据发现服务框架Metacat》很多大公司都拥有大量的数据源，它们的数据格式不尽相同，而且体量巨大。在Netflix，我们的数据仓库由很多大型的数据集组成，这些数据存储在Amazon S3、Druid、Elasticsearch、Redshift、Snowflake和MySql中。我们的平台支持Spark、Presto、Pig和Hive，我们用它们来消费、处理和生成数据集。因为数据源的多样性，为了确保我们的数据平台能够横跨这些数据集成为一个“单一”的数据仓库，我们开发了Metacat。Metacat是一种元数据服务，方便我们发现、处理和管理数据。

《New – Pay-per-Session Pricing for Amazon QuickSight, Another Region, and Lots More》Amazon QuickSight is a fully managed cloud business intelligence system that gives you Fast & Easy to Use Business Analytics for Big Data. QuickSight makes business analytics available to organizations of all shapes and sizes, with the ability to access data that is stored in your Amazon Redshift data warehouse, your Amazon Relational Database Service (RDS) relational databases, flat files in S3, and (via connectors) data stored in on-premises MySQL, PostgreSQL, and SQL Server databases. QuickSight scales to accommodate tens, hundreds, or thousands of users per organization.