2016年03月_腾讯开发者

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Harbor：开源企业级容器Registry架构简介

关于Harbor项目VMware公司最近开源了企业级Registry项目Harbor，由VMware中国研发的团队负责开发。Harbor项目是帮助用户迅速搭建一个企业级的registry 服务。它以Docker公司开源的registry为基础，提供了管理UI, 基于角色的访问控制(Role Based Access Control)，AD/LDAP集成、以及审计日志(Audit logging) ...

2016-03-31 22:34:00 5608

原创使用Jenkins Pipeline插件和Docker打造容器化构建环境

Docker和Jenkins像DevOps界的巧克力和花生酱那样，它们的组合产生了无数的机会，当然也产生了很多难题，笔者将提及这两个方面。本文中，我假定读者已经熟悉Jenkins和Docker，我将把焦点放在特定的配置上而不是把笔墨花费在许多博文已经介绍过的入门概念上。设定目标我所要达成的目标其实非常简单：在一个容器中搭建Jenkins主节点，并且在多个主机上搭建多个JNLP代理容器。这些代理节点...

2016-03-31 08:36:24 7123

原创 mmTrix大数据分析平台构建实录

在数据分析中，有超过90%数据都是来自于非结构化数据，其中大部分的是日志，如运维、安全审计、用户访问数据以及业务数据等，但随着互联网快速的发展，数据规模也是水涨船高，从早前的GB级到现在的TB级，甚至PB级也只是短短几年光景。而移动互联网的时代到来，可以说每个人无时无刻不在产生数据，几乎成爆发式的增长。如此多的数据早已压榨完单机的性能，在性价比的驱使下，转向分布式也是多数互联网企业早就未雨绸缪的事...

2016-03-30 09:08:13 115

原创 mmTrix大数据分析平台构建实录

2016-03-30 09:07:54 131

原创 mmTrix大数据分析平台构建实录

2016-03-30 09:07:34 99

原创 mmTrix大数据分析平台构建实录

2016-03-30 09:05:28 5393

原创超融合架构的本质是什么？

超融合在2015年关注度非常高，但各家厂商的超融合架构实现方法各有不同。我们不评判对错，也不去探究这些是不是真正的超融合，而是重新追本溯源，思考为什么超融合现在被关注，什么样的IT架构更“合适”于当今的商业。本文作者来自SmartX创始人徐文豪。传统集中存储落后于现代企业数据中心发展首先，SmartX选择超融合架构的原因，是传统存储解决不了现在企业数据中心的问题。据麦肯锡研究显示，全球的IT数据每...

2016-03-28 08:42:16 6454

原创 Docker将会在Windows和MAC平台本地化

对Linux用户来说，Docker一直是一个本地化的应用程序，但是对于Windows和MAC来说并不是。好消息是，Docker马上将要发布两个新的测试版本：Docker for Mac and Docker for Windows。这次发布的两个平台的版本，不仅有像其他平台一样的命令行版本，还有适配其各自平台的本地可视化管理工具：MAC上的Apple Hypervisor Framework和Wi...

2016-03-25 09:17:28 5012

原创 Tacker：OpenStack NFV组件简述

最近，NFV（网络功能虚拟化）是电信运营商和云开发者念叨最多的热词。本文将对NFV以及OpenStack Tacker项目，特别是其中的Health Monitor功能做一次简单的梳理。NFV 网络功能虚拟化目前，由于电信运营商网络包括大量的专有硬件设备，如果运营商想要推出一个新的网络服务，如负载均衡或防火墙，就往往需要购置各种新硬件，之后再为这些新“盒子”匹配合适的空间和电力。能否以软件的方式解...

2016-03-24 09:23:47 5740

原创 Tacker：OpenStack NFV组件简述

2016-03-24 09:23:20 259

原创 Tacker：OpenStack NFV组件简述

2016-03-24 09:23:18 585

原创将数据成功迁移到云端的三个技巧

使用云端来存储企业的数据将大大提高可用空间，但前提是数据迁移要做好。如果公司打算将数据迁移到云端，你就要开始从长远考虑如何用正确的方式操作了。现在，用云服务提供商来存储大量数据是云服务的主要引用。近年来，企业的数据在疯狂地增长，给ITunes行业的增长带来了70%的贡献。使用云服务将会大大降低企业的开支。但是很多企业低估了迁移数据需要的工作，也低估了之前需要做的准备工作。常常会失败很多次。如果你不...

2016-03-24 08:50:28 5996

原创 Kubernetes推1.2版本，可管理1000节点，运行3万Pods

赶在Google云端产品用户大会之前，Kubernetes也释出了1.2新版。超过680位开源开发者参与。新版最大特色是扩充能力大幅提高了400％，单个集群可管理1000个节点，运行30000个Pods。主要变更（相对于v1.1.1）：1. 简化应用部署和管理Dynimic Configuration功能（动态配置，通过核心API中的ConfigMap API实现）。它使得应用配置可以作为Kube...

2016-03-23 09:22:29 161

原创中国云计算技术大会Container峰会议题征集

作为中国云计算大数据领域的技术剖析与应用实践年度盛会，2016中国云计算技术大会为期两天半，以“技术与应用，趋势与实践”为主题，除了顶尖技术专家云集的Keynote演讲，还特设了“OpenStack技术峰会”、“Spark技术峰会”、“Container技术峰会”三大技术主题峰会以及“云计算核心技术架构”、“云计算平台构建与实践”、“大数据核心技术与应用实战峰会”、“行业云解决方案论坛”、“Sa...

2016-03-22 10:09:49 402

原创 Docker应用的监控与实践

近两年，Docker容器技术的发展使交付链更加畅快。而Docker和传统虚拟的技术相比有什么不同。又如何带给我们更好的用户体验呢？说道Docker容器技术带来的改变，可以从两个角度进行对比：与传统虚拟化的差别VM –> Dockers (职能更少) 原来由一个虚拟机变成现在多个Docker，每一个Docker里面所运行的服务智能会更少。IP –> Ips (关系更加复杂) 一...

2016-03-22 09:19:30 371

原创基于谷歌GKE使用Kubernetes

Google Container Engine (GKE) 是谷歌云提供的云服务，用于提供在线Kubernetes集群。这项新服务允许你使用谷歌API按照需求创建一个Kubernetes集群。集群将由一个主节点和一组充当虚拟机容器的计算节点组成。首先，你现在需要一个谷歌云平台帐户。更新gcloud SDK以使用容器引擎预览。如果你尚未安装谷歌SDK，可以立即执行以下命令：$ curl ht...

2016-03-21 09:15:13 1143

原创微软Visual Studio支持R语言

微软 Visual Studio 近日宣布开始支持R语言，并推出免费开源的R语言工具（R Tools for Visual Studio，RTVS），目前RTVS已经进入公开预览阶段（0.2版），可从官网上下载。0.2版本主要功能包括R编辑器（R Editor）、历史窗口（History Window）、R互动窗口（R Interactive Window）、程序代码自动完成（Code Autoc...

2016-03-18 09:43:35 3097

原创用P2P方法快速分发Docker镜像

在部署较大的容器应用集群时，把应用镜像发布到所有节点常常需要大量时间。我们VMware的研发团队测试了P2P的方法，能够较好地解决大规模镜像分发的问题，为运维实践提供了很好的指引。概述在使用Docker运行容器化应用时，宿主机通常先要从Registry服务（如Docker Hub）下载相应的镜像(image)。这种镜像机制在开发环境中使用还是很有效的，团队成员之间可以很方便地共享同样的镜像。在实际...

2016-03-17 10:28:14 816

原创在大数据分析中使用闪存将成为可能

一直以来，闪存设备都被用于对存取速度要求高的程序中，现在，它们可以被用于IT各个方面了。对于中性企业，系统逐渐集成起来，平台的数据中心迅速增长，对性能的要求也逐渐提高。之前，成本是重要的考虑因素，但是近年来，随着在相同面积可以集成的单元增加，成本已经不是大问题了。而且它高速、支持多重存取的优势得到了越来越多大型企业的偏爱。FlashBlade计划用4U支架（7英寸高）建立一个具有1.6PB存储能力...

2016-03-17 08:33:24 125

原创 MIT找到能让网站提速34%的方法

MIT的计算机科学和人工智能实验室（CSAIL）称找到了在不改变网速、不用优化逻辑代码就能能让网站提速的方法。他们开发了一个叫北极星的框架（Polaris），这个框架能够分析网页重叠的资源，从而最小化载入的时间。框架可以生成资源之间依赖的图表，然后决定哪些资源需要下载，哪些不需要下载。每个浏览器在去抓去一项资源的耗时都在100毫秒上下，实验室将这个框架比作旅行的商人：当你去一个城市的时候，在...

2016-03-17 08:27:37 168

原创 Kubernetes创办人：舍脚本式部署才能应付网络规模

据IThome报道，面对高复杂度的应用程序以及面对大量数据的流量，已经逼得我们得在应用程序架构及整体运作模式中，采取新的方法。Kubernetes共同创办人Craig McLuckie表示，业界开始将这种新手段称为原生云端运算（Cloud native computing）。Craig McLuckie认为，原生云端运算与传统系统相比，总共有三大核心差异，分别是容器化封装（Container pa...

2016-03-15 09:02:07 123

原创 OpenStack Kolla之部署

kolla项目起源于TripleO项目，聚焦于使用Docker容器部署OpenStack服务。该项目由Cisco于2014年9月提出，是OpenStack 社区Big Tent开发模式下的孵化项目。本文是接着上一篇《OpenStack Kolla探秘》，我们继续进行下一步探秘。一．Kolla简介OpenStack Kolla项目是一个支持Openstack服务以容器的方式部署，借助ansible部...

2016-03-14 08:55:37 2028

原创 Kubernetes和Mesos集成解析

Kubernetes是一个docker集群管理工具，主要包含资源管理，部署运行，服务发现，扩容缩容等功能，帮助用户把所有的应用都部署在Docker Container里边，Kubernetes可以看成是一个mini的PaaS平台，主要用来帮助用户管理Docker Container。Apache Mesos是一款开源集群管理软件，由加州大学伯克利分校的AMPLab首先开发；支持Hadoop、Ela...

2016-03-11 09:43:58 852

原创 CSDN Docker主题月：Docker落地为王

随着Docker技术的不断完善以及Docker生态圈的不断发展，围绕Docker的实践也越来越多，可以说以Docker为代表的容器技术正在改变着我们的IT世界。为了让Docker技术真正普及开来，让广大的技术的爱好者对Docker知识进行系统的了解，我们CSDN特别策划了本期Docker主题月活动。本次主题月的时间从4月1日到4月30日。你可以收获到：Docker生态圈详细的技术介绍和实践案例，包...

2016-03-10 17:18:34 133

原创 Docker Meetup 九城联动

三年光阴，如白马过隙。三年里，随着 Docker 引擎的升级， Docker Native （原生）在存储、集群、安全等方面的性能得到极大的提升。 Docker Native 是包括 Docker Engine 、 Docker Swarm 、 Docker Compose 和 Docker Machine 等在内的一系列 Docker 原生组件，构成了云计算新世代的创新原力。在这个春暖花开的日子...

2016-03-10 14:43:59 248

原创单个容器价值有限，多容器的难点和价值在哪里

本文讨论了单个容器所无法解决的问题和局限性，并介绍了容器编排的必要性和复杂性及常用工具的比较，提到了诸如Kubernetes、Mesos等容器管理工具。就像之前已被证实的那样，要在一个机器上创建成千上万个容器还是相对容易的。但如何去部署这么多的容器呢？如何管理且追踪它们？如何管理、如何来处理故障恢复？这些事情看似容易，但解决起来困难重重。让我们来解析一下究竟难在何处。用一个简单的命令，就可...

2016-03-10 09:23:31 169

原创 Linux容器技术的三大致命隐忧

近两年来，Linux的容器技术占据了世界企业IT市场的主导地位，并且基于很好的理由-除此之外，它们所承担解决的问题就是虚拟化根本无法在应用软件开发和计算行业大规模应用，并允许企业世界真正拥抱像DEVOPS概念和微服务（多年的面向服务的架构梦想已经过去了）。这就是你听到的呼声，IT设备商们正急切迎向容器化的时代。但是，就像每一个新兴的技术趋势，这并不总是一件好事，因为不是每个人都能走的通，而不管企业...

2016-03-09 09:12:54 818

原创 Mesos Implicit Roles介绍及实践

本文系作者根据自己在Mesos社区贡献的经验，主要讲解Mesos implicit roles这个新的特性，以及结合自身参与这个特性的设计，开发的过程，讲解这个新的特性在实际应用中应该注意的问题。【编者按】Role是Mesos中的一个非常重要的概念，Mesos围绕它来定义资源在多个framework之间分配的策略。在Mesos 0.26之前，Mesos集群的操作员可以通过指定–roles这...

2016-03-09 09:06:27 286

原创 Docker收购Conductant，软件部署功能更加完善

摘要：2016年3月3日Docker收购Conductant，Conductant将成为Docker基础实施团队一部分，Docker生态系统更加完善。Docker，一个声名鹊起的创业公司，通过推进打包应用程序代码的容器技术。最近宣布他们收购了Conductant，一家神秘的早期创业公司，构建软件实现大规模代码部署过程的自动化。Conductant的联合创始人兼CEO Bill Farner...

2016-03-08 09:05:46 145

原创领英宣布开源数据挖掘软件WhereHows

领英称即将开源他们内部的应用软件WhereHows，一个企业级的数据挖掘软件。准确的说，领英称它为“数据发现软件”。从商业角度讲，WhereHows的目标是从分布式的多种元数据中进行挖掘。据领英发布的资料显示，WhereHows已经挖掘了50，000条数据集，14，000条评论和35，000，000个工作机会，多达15PB的数据。在一篇博客中，领英解释了创造WhereHows的原因：建造一个数据生...

2016-03-07 09:04:27 611

原创 Linux开始支持Thunderbolt 3接口

随着Windows PC和MAC逐渐开始支持新一代高速接口Thunderbolt 3（雷电接口），Linux PC也即将迎来这一科技。戴尔最新推出的XPS 13开发者版本搭载Ubuntu Linux系统，适配了这种接口。通过USB Type-C接口提供支持。Thunderbolt 3是一种可以适配各种外设的新型接口。可以使用存储设备、外接屏幕。它就像USB一样，但是速度快四倍。一个4K的高清电影可...

2016-03-07 08:59:06 4790

原创好雨云的微服务架构实践

微服务从去年以来一直受到众多开发者的热捧，目前国外使用微服务架构的知名厂商中不乏Amazon、Twitter、Netflix等这样的科技巨头，但是国内在微服务领域实践这块，真正成功的案例屈指可数，好雨云平台强调应用一键部署，整个平台的核心正是基于微服务的架构去搭建，可以说，好雨云在微服务领域有着成功的经验和技术。那么好雨云究竟是一个怎样的平台呢，据该平台创始人刘凡介绍，好雨云平台是提供一站式，开发...

2016-03-04 08:16:55 512

原创基于Mirantis OpenStack和原生Docker工具创建容器化应用程序

上个月，我们谈到了一些不同的方式来处理在OpenStack中的容器，其中包括原生工具，Murano 应用程序，以及基于Magnum操作方式的利弊。之前我们太深入于如何用OpenStack工具来创建不同类型的应用程序，我们认为现在或许可以来看看基于Docker原生工具在OpenStack上创建容器化应用时，背后到底是如何实现的。Docker受欢迎程度正在急速飙升，同时也有非常多应用程序已经运行在它之...

2016-03-03 08:56:11 270

原创 Cisco 2.6 亿美元收购混合云管理解决方案提供商 CliQr

Cisco今天宣布以 2.6 亿美元收购混合云环境应用管理解决方案提供商 cliqr，后者团队将并入Cisco的 insieme 部门，整个交易预计将在今年三季度完成。此番收购后Cisco的云解决方案实力将得到进一步增强，也反映出企业云服务领域的并购整合趋势正在加强。cliqr 是一家应用定义云管理解决方案提供商，由 vmware 前员工成立于 2010年。公司开发的 cloudcenter 混合...

2016-03-02 09:36:10 146

原创 Swarm和Mesos集成-实战部署

由于Swarm和Mesos的集成刚处于起步阶段，现在网上没有一篇文章来详细的介绍基于Mesos来部署Swarm集群以及介绍相关的配置参数。Swarm社区的官方文档，也只给出了简单的说明，对于不了解Mesos的开发者来说，按照那个说明来部署也绝非易事。文本是基于作者长期贡献Mesos和Swarm社区的开发经验，站在一个开发者的角度，来带领大家实战部署基于Mesos的Swarm集群。来自IBM Pla...

2016-03-02 09:03:21 333

原创 IBM收购网络安全公司Resilient Systems

据路透社报道，IBM周一宣布，该公司计划收购私营网络安全公司 Resilient Systems，以扩大其在事件响应市场的份额。IBM收购Resilient Systems交易的具体条款没有披露。该交易是在旧金山举行的RSA信息安全大会期间被宣布的，预计在接受监管机构审查后，将于今年晚些时候完成。IBM表示，该公司打算保留Resilient Systems的大约100名员工，其中包括首席执行官Jo...

2016-03-01 10:10:48 113

原创 IBM收购网络安全公司Resilient Systems

2016-03-01 10:10:23 104

原创 IBM收购网络安全公司Resilient Systems

2016-03-01 10:09:39 78

原创 IBM收购网络安全公司Resilient Systems

2016-03-01 10:09:38 78

原创 IBM收购网络安全公司Resilient Systems

2016-03-01 10:09:08 141

The-Emergence-of-the-Enterprise-Data-Hub-Mike-Olson

2014年Spark Summit于6月30日至7月2日在美国旧金山举行。Spark、Shark、Spark流媒体和相关项目及产品的主要用户聚集一地，共同探讨Spark项目开发的方向，以及Spark在各种各样应用程序中的实践情况。

2015-09-22

Why-Spark-on-Hadoop-Matters-M.C.-Srivas

2015-09-22

Whats-Next-for-BDAS-Mike-Franklin1

2015-09-22

Spark-Meets-Genomics-Helping-Fight-the-Big-C-with-the-Big-D-David-Patterson00

2015-09-22

Spark-on-YARN-A-Deep-Dive-Sandy-Ryza

2015-09-22

Sparks-Role-in-the-Big-Data-Ecosystem-Matei-Zaharia1

2015-09-22

Spark-and-Cassandra-Martin-Van-Ryswyk

2015-09-22

Future-of-Spark-Patrick-Wendell

2015-09-22

Delivering-the-Enterprise-Fabric-for-Big-Data-Aiaz-Kazi

2015-09-22

Apache-Spark-and-the-Future-of-Big-Data-Applications-Eric14

2015-09-22

IBM-Text-Analytics-on-Apache-Spark-Bhatia-Thitte

2015-09-22

Scalable-Distributed-Decision-Trees-in-Spark-Made-Das-Sparks-Talwalkar

2015-09-22

End-to-end-analytics-with-Oryx-Spark-and-MMLib-Sandy-Ryza

2015-09-22

Spark-Meets-Genomics-Helping-Fight-the-Big-C-with-the-Big-D-David-Patterson

2015-09-22

把Docker打造成虚机-搜狗

很多公司已经使用物理机和vm很多年，以机器为粒度做运维，积累了很多运维工具和平台。弊端很明显，但又难以一下子切换到docker推崇的微服务架构。既想平滑兼容既有平台，又想充分利用docker的好处，how to？于是就有了我们的尝试：把docker改造成虚机的样子。

2015-07-19

kubernetes-容器集群管理利器-时速云

Kubernetes将于7月21日发布1.0版本，对容器生态圈具有重大意义。topic将介绍kubernetes的轻量化、模块化、弹性伸缩等特征，以及在服务发现、虚拟网络等方面的优势。

2015-07-19

Hyper-用虚拟机作为Pod的边界

Pod 是 K8s 调度的基本单位，也是一个逻辑实体，而 Hyper 为这个逻辑实体添加了一个“物理”边界，使得同一台主机上的不同 Pod 可以服务不同用户，这样使用kubernetes提供公有云服务就不再需要一个额外的IaaS层来提供多租户隔离了。

2015-07-19

在Spark上实时、准实时离线视频分析

Conviva 创始人 Davis Shepherd 在此次峰会上就Conviva使用Spark的情况，从我们是做什么、哪些问题需要我们解决、为什么Spark对于我们的解决方案必不可少、未来Spark能为Conviva带来什么改变等方面做了详细的介绍。

2014-05-29

StratioDeep：一个在Spark 和Cassandra之间的集成层

Stratio高级架构师Luca Rosellini：在此次峰会上和其同事Oscar Méndez、Alvaro Agea重点介绍Stratio的主要客户、为什么使用Cassandra、为什么使用Spark以及举例说明。

2014-05-29

Flint: Making Sparks (and Sharks!)

Jim Donahue是Adobe系统技术实验室主要科学家，主要研究方向是云计算、数据库和企业系统，此次峰会上Jim Donahue主要从架构，安装等方面详细介绍了Flint。

2014-05-29

腾讯技术开放日 | 全面解析腾讯会议的视频前处理算法

在视频通话中，视频前处理模块可以有效提升用户参与实时视频时的体验，并保护用户隐私，主要包括虚拟背景、美颜和视频降噪等。腾讯会议在视频前处理场景下，遇到哪些技术难点，如何进行优化？【腾讯技术开放日 · 云视频会议专场】中，腾讯云高级工程师李峰从算法和工程优化的角度进行了分享。

2020-05-24

千万日活腾讯会议背后：深度学习的最新应用

深度学习是实现语音增强最主要的方法之一，¬帮助我们从带噪语音中提取尽可能纯净的原始语音，提高语音质量和可懂度。腾讯会议在去年年底推出，短短两个月内就突破千万日活大关。在多样且复杂的场景下，深度学习如何帮助腾讯会议在实时通话中进行去混响、声音事件检测和回声消除？本文是腾讯多媒体实验室高级研究员王燕南在「腾讯技术开放日·云视频会议专场」的分享整理。

2020-03-29

干货|一文读懂腾讯会议在复杂网络下如何保证高清音频

一场突如其来的疫情，让数以亿计的白领只能居家办公，云视频会议系统突然成为最重要的办公软件。腾讯会议在2019年12月25日正式上线后，短短两个月时间内积累千万日活。除了时机，腾讯会议产品又为什么能脱颖而出呢？产品力是个不得不提的因素，腾讯多媒体实验室高级研究员王晓海在【腾讯技术开放日·云视频会议专场】中，对腾讯会议在复杂网络情况下如何保证高清音质进行了分享。

2020-03-29