CSDN研发技术

3月28日，“2018科技无障碍发展大会”在北京举行，大会由信息无障碍产品联盟主办、信息无障碍研究会承办。腾讯社交平台部副总经理许华彬受邀出席尖峰对话环节，共同探讨信息无障碍的发展现状和未来趋势。腾讯社交平台部副总经理许华彬受邀出席活动同时，腾讯也在现场宣布，将推动多项无障碍AI技术对外开放，通过在小程序“多媒体AI平台”上线“无障碍AI”入口，将一些可用于无障碍领域的人工智能技术进行...

服务器主机提供IO、内存、CPU、存储空间等资源为数据库使用，Oracle使用Flex Diskgroup为数据库提供存储空间并做了相应的资源隔离。下面我们来看下Oracle是如何为不同的PDB做IO、内存、CPU限制的。一、IO 资源隔离12cR2中，引入了两个参数MAX_IOPS和MAX_MBPS来限制PDB的物理IO。这两个参数只作用于PDB，不对CDB和非多租户环境生效。另外，...

Oracle 12.1发布至今已有多年，但国内Oracle 12C的用户并不多，随着12.2在去年的发布，选择安装Oracle 12c的客户量明显增加，在接下来的几年中，Oracle 12c将逐步得到普及。目前关于12C新特性的文章很多，但大多都不成体系，本次的文章是一个非常完整、连贯的系列，将带你全面的从基础到深入全方位的理解Oracle 12C。本篇为Oracle 12c系列的开篇文章...

作者：吕金明，系统架构师，2011加入IBM至今，一直从事分布式计算以及大数据相关的研发工作，以及大数据产品的集成，如Spark，Docker, Kubernetes, Tensorflow等开源框架及技术。简介在大数据迅速发展的今天，很大一部分支持来自于底层技术的不断发展，其中非常重要的一点就是系统资源的管理和控制，大数据平台的核心就是对资源的调度管理，在调度和管理之后如何对...

随着超融合在国内市场兴起并逐步成为主流，一场针对于IT基础架构的技术变革悄然而至。沿用二十多年的传统IT架构面临着新一代架构的严重冲击。近几年来，面对巨大的市场机遇，超融合厂商也如雨后春笋，不断涌现。企业用户的数字化转型发展得益于超融合架构的创新推动，但同时也面临着如何评测和遴选优质厂商及产品的难题。这些主流国内外超融合厂商到底有哪些区别？他们产品有何优劣势？到底应该从那几方面去评测超融合架构...

在12cR2版本中，我们可以在一个ASM Diskgroup提供不同的冗余级别和配额给不同的数据库使用。提到Quota会让人立即想到创建用户在表空间上的配额限制，其实有点类似。Flex磁盘组中文件的冗余是灵活的，并允许在数据库级别进行存储管理。你可以以数据库为粒度在磁盘组内做配额限制，并且你可以给不同的文件组定义不同的冗余度（即不同的数据库、PDB可以有不同的冗余度）。换句话说就是，你可以...

作者介绍： 关旭，即构科技音视频引擎核心专家，硕士毕业于南开大学数学系，先后就职于中兴通讯、腾讯等公司负责音视频相关的研发工作，在实时音视频技术上有多年积累，当前在即构科技主要负责音视频引擎核心开发。 责编：钱曙光（qianshg@csdn.net） 声明：本文为作者原创投稿文章，禁止任何形式未经授权的转载行为。 编者按： 2017年12月23日，由即构科技主办

作者：刘建，搜狗资深架构师，商业平台基础平台负责人，十多年Java相关研发经验，在互联网软件体系结构、分布式计算、面向服务体系结构、用户身份安全等方面有浓厚的兴趣及实践经验。 责编：钱曙光（qianshg@csdn.net） 声明： CSDN专家原创投稿文章，未经授权禁止任何形式的转载。谈到基础架构，不同的人有不同的理解。一般说来，我们将支撑应用研发部署的底层软硬件的集合叫做基础

简介Jupyter Notebook是一种开源的基于Web的交互式笔记本，便于管理分享程序文档，支持实时代码，可视化，以及Markdown语法，目前支持40多种编程语言，是数据科学生态圈的开发利器，与Docker技术紧密结合，用jupyterhub中的Docker镜像可以快速创建一个jupyter环境。同时与github也有结合，可以将程序文件可视化的分享给别人。使用Jupyter noteb

作者介绍： 赵铭，京东商城区块链研发工程师， 主要从事区块链底层研究设计工作，主攻方向为分布式账本结构； 孙海波，目前担任京东Y事业部供应链研发负责人，负责的业务包括订单履约、库存优化、采购、供应商、智能预测、防伪追溯等。在京东参与过多次双11和618大促备战，在高并发、大流量、系统优化等具有丰富的经验。 责编：钱曙光（qianshg@csdn.net） 本文为《程序员》

“前后端分离”显然已不是什么新鲜的话题，表面上看是一场架构模式的变革，但实质上是为了解决以往传统的服务端MVC设计模式的一些诟病和痛点。前后端分离带来的全新的前后端协作方式能够让专业的人做专业的事，无论前端后端都能更专注在自己擅长的方面。那么如何基于一个成熟的Hybris平台进行前后端分离？接下来，我们将会逐一剖析这个演变过程。Hybris平台Web层现状众所周知，Hybris平台是一...

传统IOE架构的问题对于Oracle数据库系统来说，IOE架构是一种非常经典的架构。过去的十几年，它已经在许多行业中证明了自己存在的合法性。那为什么我们要用数据库一体机这样的新架构去取代它？是因为随着互联网业务的发展，IOE架构暴露出了许许多多的问题I/O性能这是最大的问题所在。在该架构中，通常只有一个集中式的存储阵列，通过光纤网络向计算节点提供存储资源。早期的存储阵列全部采用机械磁盘...

PDB Refresh是12C推出的特性，具有对源端PDB进行增量同步的功能，每次刷新会将源端PDB中的任何更改同步到目标PDB(在此环境中目标PDB被称作Refreshable PDB)中，目前增量同步方式有两种：手动方式与自动方式。一、Refresh MODE语句在使用Create Pluggable Database创建PDB时指定Refresh MODE子句用来控制是否开启刷新...

电商平台搜索服务特点随着电商平台的快速发展和所销售商品的数量大规模增长，从大量的商品数据中快速获取用户关注的商品，变得越来越有挑战性。优秀电商平台能够吸引客户的因素之一，就是拥有强大，友好的搜索服务，用户能够从大量数据中快速找到想要的商品。图1-1 搜索功能演示搜索引擎需要解决如下问题：相关的商品能不能在一秒甚至更短的时间返回对用户输入的关键字进行错误检查当用户输入关键字...

作为新一代颠覆性的应用，区块链技术已成为当下最火热的话题，全球竞相发展区块链技术。为了进一步的探究区块链技术的本质、发展趋势、行业应用、政策与投资，以及技术背后深藏的区块链思维等，2018 区块链技术及应用峰会(BTA) 将于2018年3月30-31日在北京喜来登长城饭店召开，本次大会由CSDN、火星财经主办，及中关村区块链产业联盟、柏链教育、区块链大本营、TokenSky联合主办，共同助力区块链...

2018区块链技术及应用峰会(BTA)·中国倒计时3天2018，想要follow最火的区块链技术？你还差一场严谨纯粹的技术交流会——2018区块链技术及应用峰会(BTA)·中国将于2018年3月30-31日登陆北京喜来登长城饭店。追求专业性？你要的这里全都有：当超强嘉宾阵容遇上业界同好的脑洞大联欢，1+1=无限可能，目前门票火热进行中，抢票请点击此处，就等你了！ 大会官网：htt...

传统的单体应用的微服务化改造过程中大多会面临数据库拆分，故而原来由数据库保证的数据一致性也一定面临重新设计和实现，此时需要引入分布式数据一致性方案来解决。常见的解决方案主要有2PC，TCC，事件驱动等，而在微服务开源项目 ServiceComb中提出并实现了使用Saga[1]来解决微服务的数据一致性难题，不同方案的对比可参考《ServiceComb中的数据最终一致性方案》[2]一文。Saga是一个...

全量格式化还是渐进格式化？对于一个历史悠久又没有执行强制代码规范的代码库，全量格式化看起来是一件风险不可控的事情：它产生了大量的难以评估的格式改动，也使得格式化以后的代码库运行git blame几乎都会定位到进行格式化的人（而非是这段逻辑的上一次有意义的修改者）。相比之下，理想的做法似乎应该是渐进格式化：对于新代码，使用强制的代码规范；对于老代码，除非它被修改，不然不进行强制代码规范。真的...

2018年3月30-31日，由CSDN、火星财经主办，中关村区块链产业联盟、柏链教育、区块链大本营、TokenSky联合主办的2018 区块链技术及应用峰会(BTA)在北京盛大召开。本次大会聚焦区块链核心技术、发展趋势、行业应用、投资、数字资产存储与交易、创新前沿技术等主题，来自全球 80+ 区块链技术领导者、100+ 区块链投资商业大咖、1000+ 区块链技术开发者及行业人士共聚一堂，以一种更纯...

作者：京东商城基础架构部一、 引入随着TIG阿基米德平台全面应用，组成京东容器生态技术栈的分布式域名解析服务ContainerDNS（go版https://github.com/tiglabs/containerdns ）全量生产环境应用，承载着每天百亿的访问量，单实例峰值每秒请求达到15W QPS，已经接近ContainerDNS的性能极限（17W QPS）。为了更好的提高系统的...

PDB数据库的创建可以从现存的数据库中复制数据文件，包括种子容器、可插拔数据库、non-CDB数据库，创建时可以使用CREATE PLUGGABLE、RMAN、DBCA以及EM等。在12.1版本中在创建PDB时，Source PDB必须处于read only状态，在12.2版本中，因为undo local mode新特性的推出，在创建PDB时，Source PDB在read write状态，依...

作者简介： 胡晓亮目前就职于IBM Platform Computing 系统科技部云计算部门，担任云计算开发部工程师。自2013年8月开始参与OpenStack，然后又转战Spark，目前工作在K8S相关领域。 责编：钱曙光（qianshg@csdn.net） 声明：本篇为原创内容，CSDN独家发布，禁止未经授权的任何形式转载。Docker简介由于基于Hyperv

声明：本文来自有道技术团队的投稿，交流可致邮：ydtech@rd.netease.com 责编：钱曙光（qianshg@csdn.net） 欢迎加入CSDN人工智能技术交流QQ群（群号：299059314），内涵大量学习材料。 随着深度学习算法在图像领域中的成功运用，学术界的目光重新回到神经网络上；而随着 AlphaGo 在围棋领域制造的大新闻，全科技界的目光都聚焦在“深度

作者：张岩，2016年加入京东，熟悉大型分布式系统设计及开发，有丰富的web开发实战经验，对spring等开源框架有源码级了解，目前主要负责京麦插件市场及交易平台的研发工作。 责编：钱曙光（qianshg@csdn.net）序来到京麦团队一年多，回顾这一年的工作，是时候对我们京麦交易平台做个总结了，那么京麦交易平台从无到有，从0到1都经历了什么呢？下面跟随笔者看看交易平台的系统

在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。该架构优势明显， 但对于数据库类 Latency Sensitive 应用而言，IO 性能问题无法回避，下面分享一下我们针对 MySQL 做的优化以及优化后的收益。计算存储分离架构架构示意图如下：存储层由分布式文件系统组成，以 Provisoner 的方式集成到 Kuberne

作者：卢俊，七牛云客户端团队技术负责人。拥有丰富的音视频领域的开发和实战经验，先后开发过 Android 播放 SDK、Android 推流 SDK、短视频 SDK，并主导了七牛连麦系统的设计和实现。服务过上百家直播客户，包括熊猫、全民、龙珠、汽车之家、懂球帝等。本文整理自卢俊的演讲，目标读者是对音视频开发感兴趣但是又不知道如何下手的初学者们，希望对大家有所帮助。1. 成长的烦恼经常收到一些网友的

背景电商场景促销活动的会场页由于经常集中在某个时间点进行“秒杀”促销，这些页面的QPS（服务器每秒可以处理的请求量）往往特别高，数据库通常无法直接支撑如此高QPS的请求，常见的解决方案是让大部分相同信息的请求都尽可能地压在缓存（cache）上来缓解数据库（DB）的压力，从而尽可能地去满足高并发访问的诉求（如图2-1所示）。图2-1 常规数据缓存方案在一次业务促销过程中，运营给一大批用户集中推送了一

原文：Never been manager 作者：Eric Brechner 译者：陆其明，爱奇艺公司技术总监，拥有10多年的软件技术研发和管理经验。已经出版的著作有《DirectShow开发指南》、《DirectShow实务精选》、《Windows Media编程导向》、《脚本驱动的应用软件开发方法与实践》，译作有《代码之道》、《高效能程序员的修炼》、《程序员的修炼——从优秀到卓越》。

本文作者为神策数据（ID：SensorsDataCrop）资深研发工程师张广强，版权归神策数据所有。和以 MySQL 为代表的传统事务型数据库相比，数据仓库有一个很大的特点，就是主要面向批量写和查询进行优化，可以不支持更新、事务这些高级特性。一些商用的数据仓库分析系统，例如 Vertica，已经可以做到千亿级数据的秒级导入和秒级查询。神策数据一直致力于帮助企业搭建数据仓库，实现数据的秒级响应，积累

背景作为一家大规模的自营式电商企业，京东需要存储海量的非结构化数据：商品图片、订单文本、仓库流转记录、App客户端文件、日志文件、内部文档等。对于存储这些数据，之前并没有统一的解决方案，都是各个业务线自行解决——MySQL BLOB、HDFS、FastDFS。2013年5月，京东开始组建存储组，自主研发JFS——京东文件系统，以实现非结构化数据存储统一服务为目标。小文件存储针对3个典型的应用场景——

短视频发展史图 1图 1 所示是短视频及直播的发展史，众所周知，2016 年是直播元年，在这期间诞生了很多直播平台，比如熊猫、映客、斗鱼等；而在 2017 年，短视频的火爆程度并不亚于直播，可能大家都以为短视频是从 2017 年开始火爆起来的，但其实早在 2015 年就已经诞生出快手、秒拍、美拍等短视频 App。当时我正好在 YY 从事短视频 App 相关的工作，来到七牛后，在客户端团队先后参与直播

前端领域生态繁荣，致力于提高生产效率的技术、工具不断推陈出新，可谓群雄割据且各有千秋。企业及前端开发者在实际开发中可选择的空间大大增加，但也面临着选择困难症。抑或虽已确定了技术栈，但实际开发中却时不时遭遇各种“坑”的牵绊。深入了解各大技术的优势与劣势，同时结合自身业务需求，你的技术选择之路将会变得更加明朗；深入了解其他企业对各大技术的应用实践及所踩过的坑，你的技术应用之路将会更加顺畅。毕竟有些人，有

随着接入的需求方越来越多样化，对大数据的数据使用、数据存储与计算的需求也越来越多样化，同时业务飞速发展，集群的规模也急速扩大。如何在这样的场景下通过大数据平台，稳定支撑住业务的发展是一个不小的挑战。本文分享主要平台工具链，技术、选型及架构设计上的一点经验。

本文对比了Heron和常见的流处理项目，包括Storm、Flink、Spark Streaming和Kafka Streams，归纳了系统选型的要点。此外实践了Heron的一个案例，以及讨论了Heron在这一年开发的新特性。

作者简介： 吴大帅，新屿算法工程师，曾供职于宅米网、新达达，从事系统架构设计、算法设计等工作。 李智慧，《大型网站技术架构：核心原理与案例分析》作者，从事大型网站、分布式系统、大数据方面的研发工作。 责编：钱曙光（qianshg@csdn.net） 声明：本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》。人工智能的到来驱动着诸多领域的变革，但具

微博拥有超过3.76亿月活用户，是当前社会热点事件传播的主要平台。而热点事件往往具有不可预测性和突发性，较短时间内可能带来流量的翻倍增长，甚至更大。如何快速应对突发流量的冲击，确保线上服务的稳定性，对于提供全微博数据托管的服务部门数据库团队来说既是机遇又是挑战。本文尝试从一线DBA的视角管窥微博热点事件背后的数据库运维应对之道。

来源： linkedkeeper.com 作者：肖依云 责编：钱曙光（qianshg@csdn.net）该项目的主要功能特点是类似于一个秒杀系统，存在短时间高并发问题，在拿到项目需求后，我们对该项目进行了两版程序设计，初始版本中，在高并发的情况下，无法保持数据的正确性，存在可能一个用户被抽中多次的问题，以及对数据库频繁的写操作会降低程序运行效率。在第二版中，我们着重对两点问题进行了优化

作者简介： 吴凯，北京云途腾科技有限责任公司首席运营官，具有20年的IT和软件服务行业管理经验，历任多家著名外资及民营IT企业的核心高级管理职位，是中国云计算专家委员会专家委员，中国开源云联盟及云计算开源产业联盟的理事。 责编：钱曙光（qianshg@csdn.net） 声明：2017年最热的技术词汇非人工智能A莫属，大数据B和云计算C渐少人提及了，但就像倒在了杯子里的啤酒

每年双11是国内各大电商贴身肉搏，激烈交锋的时刻，同时也是把几十天的交易量浓缩到一天释放的日子。为了准备双11的大促，各家都会在营销、促销、技术保障、物流、售后、客服等各个环节付出相当大的努力。唯品会作为中国第三大电商公司，自然也会在这场盛宴中付出自己的努力，收获应有的成绩。

每年618或11.11大促都是一场技术团队大练兵的时候。京麦平台随京东发展至今，已经历了4次618，3次11.11，今年618备战的场景还记忆犹新，11.11战鼓声却已早早的敲响。那半年的时间里，京麦服务市场又有哪些蜕变呢？