[云计算技术文章之其二] 用于增强数据治理能力与法规遵从性的容器

前言

  • 最近一两个星期,手头上的项目陆续交付出去了,个人的空闲时间就多了些,于是业余活动就增多了起来,终于也有时间开始整理文档,写写博客了。
  • 近期的业余活动,除了继续学习吴恩达老师的深度学习课程,看一看 Stephen Boyd 的著作《Convex Optimization》学习一些数学知识,还加入了腾讯云的“云+翻译社”,闲下来时翻译一些比较新的技术文章张张姿势,身为技术人,可不能跟不上时代啊。
  • 翻译社第一期活动是“云计算相关技术的前瞻性研究”,虽然跟我的学习方向不怎么对口,但是我也领了五篇比较简单的文章趁机涨涨姿势。
  • 其中有三篇文章被专栏采纳了,说明这几篇翻译还是及格的。所以我打算在这两天整理整理,把中英对照版发在这里。
  • 发在专栏的原文地址如下:

版权相关

翻译人:StoneDemo,该成员来自云+社区翻译社
原文链接:用于增强数据治理能力与法规遵从性的容器
原文作者:Paul Stanton


Containers for Enhanced Data Governance and Regulatory Compliance

题目:用于增强数据治理能力与法规遵从性的容器

How can auditors assess the use of enterprise data given today’s fragmented storage infrastructure? In short, with great difficulty!

审计人员是如何评估当前分散存储基础设施的企业数据的使用情况的?简而言之,这其中困难重重!

Earlier this year, Windocks became the first container engine to incorporate database cloning. The combination of SQL Server containers with database cloning has been immediately popular for support of Dev/Test and reporting needs. A complex Terabyte class database can be delivered in seconds, and only requires an incremental 40 MB of storage.

今年的早些时候,Windocks 成为第一个整合了数据库克隆技术的容器引擎。为支持开发/测试(Dev / Test)与报表需求,SQL Server 容器与数据库克隆的组合很快就流行起来了。现在仅仅需要额外花费 40MB 的存储空间,就可以在很短时间内将一个复杂的兆字节(TB, Terabyte)类型数据库交付。

The combination of SQL Server containers and database clones is great for Dev/Test and reporting, but is also proving to be a huge step forward for Data Governance and Regulatory Compliance. In this article, we’ll explore how this design delivers a versioned, auditable repository of enterprise data for Audit and Compliance purposes.

SQL Server 容器和数据库克隆的组合不仅对于开发/测试和报表来说非常有用,它们对于数据治理能力与法规遵从性来说,也是一个巨大的进步。那么如何设计提供一个满足审计与合规性需求的,版本化、可审计的企业数据库呢?本篇文章接下来将会与您一同探索。

Data Imaging for Enterprise Data Environments

(企业数据环境下的数据映像)

Data images are built using Full or Differential SQL Server backups, snapshots, and SQL Server incremental log shipping, and are combined with SQL Server scripts to implement data masking during the image build. The resulting image is a full byte copy of the data in the form of Virtual Disks that can span multiple physical (or virtual) disks and large data sets.

数据映像使用完全或差异 SQL Server 备份、快照,以及 SQL Server 增量日志传输来进行构建,并且结合 SQL Server 脚本以在映像构建过程中实现数据屏蔽。所生成的映像是可以跨越多个物理(或虚拟)磁盘和大型数据集的虚拟磁盘形式的完整字节数据拷贝副本。

The Virtual Disk, in turn, supports the creation of Windows “differencing disks” which are writable clones. Clones are delivered in seconds, and only require 40 MB or less of storage.

虚拟磁盘则反过来支持创建可写克隆的 Windows“差异磁盘”。克隆在几秒钟内完成的,而且仅需要 40 MB 或更少的存储空间。

这里写图片描述

Images are built with a Dockerfile that specifies the location of backups, snapshots, or log shipping updates, and SQL Server scripts. Windocks images support multiple databases, with source files located on the Windocks host or a network attached file. In the example below the Dockerfile specifies two databases, located on network attached file shares, and SQL Server scripts for data masking.

我们使用 Dockerfile 指定备份、快照或日志传送更新,以及 SQL Server 脚本的位置来构建映像。Windocks 映像支持源文件位于 Windocks 主机或网络附加文件中的多个数据库。下述例子中,该 Dockerfile 指定了位于网络附加文件共享上的两个数据库,以及用于数据屏蔽的 SQL Server 脚本。

这里写图片描述

The resulting image is versioned and auditable and supports delivery of multi-terabyte environments in seconds for Development and Test, and for reporting and BI. These data environments can now be delivered automatically or provisioned by users, for use with any SQL Server container (both Windocks and Microsoft’s), as well as with conventional SQL Server instances.

由此操作得到的映像是版本化且可审计的,并且它还支持在短时间内内交付数兆字节数据的环境,用于开发和测试,以及报表和 BI(Business Intelligence,商业智能)。现在这些数据环境可以自动化交付或由用户提供,用于任何 SQL Server 容器(包括 Windocks 和 Microsoft 的)以及常规 SQL Server 实例。

这里写图片描述

Data Imaging Enhances Data Governance and Compliance

(数据映像增强了数据治理和法规遵从性)

The design as described was implemented to address the needs for delivery of data environments for Dev/Test and reporting needs, but the new Data Image repository is ideally suited for expanding data governance and regulatory compliance needs.

以上所描述的设计是为满足开发/测试与报表需求的数据环境交付需求而实现的,但新的数据映像仓库在理想情况下是非常适合扩展数据治理和法规遵从需求的。

Privacy/Security: Security is improved with data delivered through a structured container process. Ad hoc access to enterprise data can be curtailed and approved and auditable images used to support dev and test, as well as reporting and BI needs. Privacy is enhanced as data masking that is implemented during the image build. National boundaries are respected with image registries hosted in the appropriate country, as the Windocks solution runs wherever Windows servers are supported (on-premise, private, or public cloud).

隐私/安全:通过结构化容器过程所提供的数据,安全性就能得到改进。对企业数据的临时访问可以减少,并批准和审计用于支持开发和测试,以及报表和 BI 需求的映像。在映像构建期间,隐秘性会因数据屏蔽的实现方式而得到增强。Windocks 解决方案运行在任何支持 Windows 服务器(本机端、私有或公共云)的任何地方,因此其无界性受到一些的国家的映像注册托管机构的重视。

Quality: The container workflow enhances data quality and consistency by supporting the use of production databases as the authoritative source of data. The workflow outlined above will soon be enhanced with native Jenkins or Team City server support for Continuous Integration, making this approach unique as the first full-stack Jenkins Continuous Integration solution that incorporates production database support.

质量:容器工作流程通过支持将生产数据库作为权威数据源以提高数据质量和一致性。上述工作流程即将因本地 Jenkins 或 Team City 服务器对持续集成的支持而得到增强,并使得这种方法成为第一个包含生产数据库支持的全堆栈 Jenkins 持续集成解决方案。

Access and Use: Docker containers are emerging as the defacto standard for software development and test. Containers play a prominent role in Microsoft’s strategies for Windows Server 2016 and SQL Server 2017. The approach outlined here provides organizations with an on-ramp to Docker-based workflows on Windows Server 2012 and Server 2016, with support of all editions of SQL Server 2008 onward. Not only does this workflow improve access to data (on-demand and in seconds), with the latest preferred dev and test tooling, but it also is uniquely useful for SQL Server reporting and BI purposes. This workflow also integrates with existing backup and DR system infrastructure, making it uniquely easy to add to existing systems and infrastructure.

访问与使用: Docker 容器正在成为软件开发和测试的行业标准。容器在微软的 Windows Server 2016 和 SQL Server 2017 战略中扮演着重要的角色。本文简述的方法为组织机构提供了基于 Docker 的 Windows Server 2012 和 Server 2016 工作流入口,并且前向支持所有版本的 SQL Server 2008。此工作流程不仅可以使用最新的首选开发工具和测试工具来改进对数据的访问(随需应变与时间短),而且对于 SQL Server 报表和 BI 目的也是非常有用的。该工作流程还集成了现有的备份和灾难恢复系统基础架构,以使其能够轻松地添加到现有的系统和基础架构中。

Open: As a result of customer feedback Windocks is also expanding support for delivery of data environments from any Storage Area Network (SAN), from NetApp, EqualLogic, and others. Copy Data Management systems will also be supported, such as from Cohesity and Rubrik. Finally, support for MySQL, DB2, and other environments will also be added as requested by customers.

开放性:根据客户的反馈,Windocks 也在扩大对来自任意存储区域网络(SAN),NetApp,EqualLogic 等的数据环境交付的支持。如 Cohesity 与 Rubrik 这类的拷贝数据管理系统也将得到支持。最后,还会按照客户的需求而添加对 MySQL,DB2 和其他一些环境的支持。

Conclusions

(小结)

Data governance should not be an afterthought for modern software development and delivery strategies. Windocks’ combination of SQL Server containers with database cloning delivers benefits for development and test, reporting and BI, and enhances data governance and policy compliance. The solution installs with existing systems and delivers Terabyte-class data environments in seconds while creating immutable, versioned and auditable images that address many data governance needs.

数据治理不应是现代软件开发和交付策略的后期考虑之事。Windocks 将 SQL Server 容器与数据库克隆技术相结合,为开发和测试,报表和 BI 提供了优势,并增强了数据治理和法规遵从性。该解决方案与现有系统一起安装,并在创建可以处理许多数据治理需求的,不可变、版本化和可审计的映像的同时,以秒为单位提供 TB 级的数据环境。

Explore how Windocks can enhance your data governance and delivery with a free Windocks Community Edition. Download your free evaluation of Windocks here.

为了解 Windocks 如何通过一个免费的 Windocks 社区版来增强数据治理和交付能力。您可以在这里下载您对 Windocks 的免费评估

深度学习是机器学习的一个子领域,它基于人工神经网络的研究,特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征,这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分: 1. **神经网络(Neural Networks)**:深度学习的基础是人工神经网络,它是由多个层组成的网络结构,包括输入层、隐藏层和输出层。每个层由多个神经元组成,神经元之间通过权重连接。 2. **前馈神经网络(Feedforward Neural Networks)**:这是最常见的神经网络类型,信息从输入层流向隐藏层,最终到达输出层。 3. **卷积神经网络(Convolutional Neural Networks, CNNs)**:这种网络特别适合处理具有网格结构的数据,如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络(Recurrent Neural Networks, RNNs)**:这种网络能够处理序列数据,如时间序列或自然语言,因为它们具有记忆功能,能够捕捉数据中的时间依赖。 5. **长短期记忆网络(Long Short-Term Memory, LSTM)**:LSTM 是一种特殊的 RNN,它能够学习长期依赖关系,非常适合复杂的序列预测任务。 6. **生成对抗网络(Generative Adversarial Networks, GANs)**:由两个网络组成,一个生成器和一个判别器,它们相互竞争,生成器生成数据,判别器评估数据的真实。 7. **深度学习框架**:如 TensorFlow、Keras、PyTorch 等,这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数(Activation Functions)**:如 ReLU、Sigmoid、Tanh 等,它们在神经网络中用于添加非线,使得网络能够学习复杂的函数。 9. **损失函数(Loss Functions)**:用于评估模型的预测与真实值之间的差异,常见的损失函数包括均方误差(MSE)、交叉熵(Cross-Entropy)等。 10. **优化算法(Optimization Algorithms)**:如梯度下降(Gradient Descent)、随机梯度下降(SGD)、Adam 等,用于更新网络权重,以最小化损失函数。 11. **正则化(Regularization)**:技术如 Dropout、L1/L2 正则化等,用于防止模型过拟合。 12. **迁移学习(Transfer Learning)**:利用在一个任务上训练好的模型来提高另一个相关任务的能。 深度学习在许多领域都取得了显著的成就,但它也面临着一些挑战,如对大量数据的依赖、模型的解释差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值