2017年05月_Winsdons

转载京东技术架构（二）构建需求响应式亿级商品详情页

商品详情页是什么商品详情页是展示商品详细信息的一个页面，承载在网站的大部分流量和订单的入口。京东商城目前有通用版、全球购、闪购、易车、惠买车、服装、拼购、今日抄底等许多套模板。各套模板的元数据是一样的，只是展示方式不一样。目前商品详情页个性化需求非常多，数据来源也是非常多的，而且许多基础服务做不了的都放我们这，因此我们需要一种架构能快速响应和优雅的解决这些需求问题。因此我们重新设计了商品详情页

2017-05-25 15:44:06 1931

转载京东技术架构（一）构建亿级前端读服务

从入职京东到现在，做读服务已经一年多的时间了，经历了各种亿级到百亿级的读服务；这段时间也进行了一些新的读服务架构尝试，从架构到代码的编写，各个环节都进行了反复尝试，压测并进行调优，希望得到一个自己满意的读服务架构。一些设计原则无状态数据闭环缓存银弹并发化降级开关限流切流量其他无状态如果设计的应用是无状态的，那么应用就可以水平扩展，当然实际生产环境可能是这样子的：应用无状态

2017-05-25 15:36:17 1229

转载阿里下一代数据库技术：把数据库装入容器不再是神话

张瑞，阿里集团数据库技术团队负责人，阿里巴巴研究员，Oracle ACE。双十一数据库技术总负责人，曾两次担任双十一技术保障总负责人。自2005年加入阿里巴巴以来，一直主导整个阿里数据库技术的不断革新。近日，在京举行的2017中国数据库技术大会上，来自阿里巴巴集团研究员张瑞发表了题为《面向未来的数据库体系架构的思考》的主题演讲。主要介绍了阿里数据库技术团队正在建设阿里下一代数据库技术体系的想法

2017-05-25 15:29:10 1118

转载阿里云文件存储SMB协议服务及其申请和使用指南

阿里云于2016年发布了支持NFS网络文件系统访问协议的阿里云文件存储。2017年3月，又增加了SMB文件系统访问协议的支持，正式对外公测。本文简单描述了SMB文件存储访问协议以及阿里云SMB协议公测功能，并简单介绍了该服务的使用场景，以及公测申请和使用流程。一、SMB文件系统访问协议简介网络文件系统NAS（NAS-Network Area Storage），将本地的存储空间共享给

2017-05-24 15:45:49 5775

转载阿里云rds postgres回收用户权限

1，提工单由于当初设计都是用的public schema，而public schema对所有用户权限没有限制，所以需要回收部分用户的建表权限，=> \dnList of schemasName | Owner--------+-----------public | pg2490375而public 默认owner是初始化实列的用户，所以提供单将public owner改

2017-05-24 15:37:57 1814

转载 NGINX_简明教程

NGINX 是一款来自俄罗斯的HTTP 和反向代理（reverse proxy）服务器、邮件服务器，以及通用的 TCP/UDP 代理服务器，以其高性能被业界广泛采用。本文通过最简洁的方式，将 NGINX 核心应用做下介绍。什么是 NGINXNGINX是一个免费的、开源的、高性能的 HTTP 服务器和反向代理，以及一个 IMAP/POP3 代理服务器。 NGINX以其高性能、稳定性、丰富的功

2017-05-23 16:27:54 336

转载分布式存储系统

本次分享内容主要包括三部分：（一）分布式存储系统应该具备的能力；（二）阿里云分布式存储系统盘古的介绍；（三）分布式系统技术展望。分布式存储系统应该具备的能力大数据同生活息息相关，大量数据的出现对分布式存储提出了更高的需求，具体表现为以下方面：（1）高可靠，这是存储系统需要满足的最关键需求，既要保证数据在读写过程中不能发生错误，同时还要保证数据进入到系统后硬件失效不会导

2017-05-23 15:36:13 3997

转载快速选择合适的机器学习算法

本文主要适用于初学者到中级数据科学家或分析师，他们有兴趣识别和应用机器学习算法来解决他们感兴趣的问题。一个初学者面临各种机器学习算法的典型问题是“我应该使用哪种算法？”问题的答案取决于许多因素，包括：数据的大小、质量和性质。可用计算时间。任务的紧迫性。你想用数据做什么。即使是经验丰富的数据科学家也不能在尝试不同的算法之前，判断哪种算法会最好。我们并不是倡导一个一步到位

2017-05-23 15:15:48 11899

转载网络编程中Nagle算法和Delayed ACK的测试

Nagle算法的立意是良好的，避免网络中充塞小封包，提高网络的利用率。但是当Nagle算法遇到delayed ACK悲剧就发生了。Delayed ACK的本意也是为了提高TCP性能，跟应答数据捎带上ACK，同时避免糊涂窗口综合症，也可以一个ack确认多个段来节省开销。悲剧发生在这种情况，假设一端发送数据并等待另一端应答，协议上分为头部和数据，发送的时候不幸地选择了write-wri

2017-05-22 15:19:27 526

转载《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南

JSON数据集ScalaJavaPythonRSqlSpark SQL在加载JSON数据的时候，可以自动推导其schema并返回DataFrame。用SQLContext.read.json读取一个包含String的RDD或者JSON文件，即可实现这一转换。注意，通常所说的json文件只是包含一些json数据的文件，而不是我们所需要的JSON格式文件。JSON格式文件必须每

2017-05-22 14:44:23 757

转载 Java_异常处理

Java 异常处理异常是程序中的一些错误，但并不是所有的错误都是异常，并且错误有时候是可以避免的。比如说，你的代码少了一个分号，那么运行出来结果是提示是错误 java.lang.Error；如果你用System.out.println(11/0)，那么你是因为你用0做了除数，会抛出java.lang.ArithmeticException 的异常。异常发生的原因有很多，通常包含以下几大类：

2017-05-19 16:00:22 334

在2016年有两个深度学习应用使得深度学习这个概念走入了平常百姓家，大家开始意识到深度学习技术好像和我们的生活开始产生联系了。第一件事情就是AlphaGo战胜了围棋世界的高手李世石，它向我们证明了一件事情：计算机不但具有强大的运算能力，它甚至开始学会学习了，更可怕的是计算机的学习能力是一种纵向深入的学习能力，也就是随着计算机看到的数据越来越多，随着时间的不断往前发展，计算机有可能成为某个领域的专家

2017-05-19 15:41:56 10082

转载 nio框架中的多个Selector结构

随着并发数量的提高，传统nio框架采用一个Selector来支撑大量连接事件的管理和触发已经遇到瓶颈，因此现在各种nio框架的新版本都采用多个Selector并存的结构，由多个Selector均衡地去管理大量连接。这里以Mina和Grizzly的实现为例。在Mina 2.0中，Selector的管理是由org.apache.mina.transport.socket.nio.NioP

2017-05-19 15:24:16 768

转载阿里官方Java代码规范标准《阿里巴巴Java开发手册》下载

这套Java统一规范标准将有助于提高行业编码规范化水平，帮助行业人员提高开发质量和效率、大大降低代码维护成本。点击下载《阿里巴巴Java开发手册》：https://yq.aliyun.com/attachment/download/?id=1170你是否曾因Java代码规范版本纷杂而无所适从？你是否想过代码规范能将系统故障率降低20%？你是否曾因团

2017-05-18 16:25:42 11463

转载如何打造一个小而精的电商网站架构？

本文大纲：1. 小型电商网站的架构2. 日志与监控系统的解决方案3. 构建数据库的主从架构4. 基于共享存储的图片服务器架构5. 移动M站建设6. 系统容量预估7. 缓存系统一、小型电商网站的架构刚从传统软件行业进入到电商企业时，觉得电商网站没有什么技术含量，也没有什么门槛，都是一些现有的东西堆积木似的堆出来罢了。然而，真正进入到这

2017-05-18 15:54:44 885

转载优化介绍及应用实践

用户需求说起阿里巴巴，第一个标签肯定是电商平台。电商平台的核心问题就是如何关联用户、商品和卖家，是否成功的关键就是如何去高效率的匹配。如何高效率的匹配用户和商品，这直接影射出两个非常直观的问题：首先我们要知道用户想要什么，我们才能去高效的匹配用户和商品。在大数据、没有机器学习等技术没有广泛应用之前，最简单的方法做一个简单的统计，把一些非常受欢迎的商品列在页面的上面，而这个在商业分析中可以称

2017-05-18 15:43:22 651

转载当红架构Cloud_Native_怎么搭建才能成为上云助攻手？

一、什么是Cloud Native？说到Cloud Native，国内大多数都翻译成云原生，就是让云成为成功的基石，而不是障碍。陈谔对于为什么要实现云原生应用深有体会，网易从2012年开始实施云化的战略，当第一版云计算平台建好的时候，开始引导公司的项目逐渐向云迁移。这个过程中就遇到了一个问题：用上云之后，并没有变得效率奇高，甚至有些项目的效率反而有所下降，大家都有很多抱怨。

2017-05-17 16:04:54 523

转载 Apple本地认证(密码+Touch_id)

前言本片博客主要介绍如何在自己的APP中添加指纹解锁/密码解锁技术。主要是对苹果的LocalAuthentication的介绍。看过之后你将会知道如何使用苹果的指纹解锁和本地密码验证功能。正文Apple有好多Frameworks，包括常用的UIKit、Foundation和Accounts等等。其中还有一个Framework：LocalAuthentication。该Framework

2017-05-12 13:57:29 435

转载 DT科技评论第37期：Cato_Network将会重新定义下一代网络以及安全

DT科技评论Data Technology Review第 37 期阿里云研究中心,人民网研究院，DeepTech深科技本期目录搭载英伟达GPU的超算用于油气勘探Threat Stack提示云安全风险：73%的AWS用户开放SSH远程管理世界最薄处理器问世苹果新专利：通过 WiFi 路由器为 iPhone 无线充电Google的T

2017-05-11 15:41:59 675

转载图管够！灌篮高手、女儿国…阿里日_这帮程序员太会玩了！

5月10日是阿里一年一度的阿里日，这对阿里人来说，是个非常特别的日子。那什么是阿里日呢？看看官方介绍：它起源于2005年4月20日，是为了纪念2003年5月的“非典”时期阿里人的激情和信念。因此阿里巴巴决定，今后每年的5月10日定为“阿里日”。每年的这一天，公司都会有庆祝活动，举行集体婚礼，并开放公司为“亲友日”，让阿里人的亲属和朋友走近阿里巴巴、感受阿里精神。今年的杭州阿里巴

2017-05-11 14:54:51 221

转载 WP_使用_FastCGI_Cache_实现高效页面缓存

前言页面缓存（Page Cache）是 WordPress 性能优化比较重要的一环，目前 WP 有很多页面缓存插件：W3 Total Cache、WP Super Cache、Comet Cache 等，不过它们都是务器软件 —— PHP —— WP缓存插件 —— 本地或对象缓存，差不多要经过四个阶段，在高并发下效率是很低的。而目前比较流行的就是服务器软件

2017-05-11 14:45:43 427

转载 MaxCompute基础与MaxCompute_SQL优化

总论：大数据计算服务 ( MaxCompute，原名 ODPS ) 是一种快速、完全托管的 TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。同时，大数据开发套件和 MaxCompute关系紧密，大数据开发套件为 MaxCompute 提供了一站式的数

2017-05-11 14:41:37 2769

转载从安装、管理到防御_阿里云安骑士全向测评

对于黑客而言，服务器是最理想的肉鸡。而当前云计算系统中的海量云主机资源，更是黑客面前的美味大餐。开源系统，本身就存在着比较严重的系统安全漏洞问题，容易使黑客趁虚而入。而虚拟系统安全管理手段匮乏，又进一步助长了黑客们的嚣张气焰。近期，又有安全研究人员发现，数万WordPress站点被利用于实施第7层DDos攻击。大多数实施攻击的源网站托管在知名VPS/云服务提供商：亚马逊的AWS、Digital

2017-05-11 14:29:58 646

转载云架构师前（钱）景这么好_我们该如何转型？这有两位阿里云云架构总监多年心得

当下，由于云计算具备在线（在线的价格、服务交付、管控运维和技术文档）等特点，很多场景下用户自己就能通过online的方式自助购买并使用云服务，但由于他们缺乏产品与解决方案层面的技术和决策能力，因此，不论是用户、还是云厂商对云架构师的依赖和需求都越来越大。那什么是云架构师呢？或者咱们从起点出发——什么是云架构？有些同学属于理论党，我们先来看看云架构的定义，维基里面的描述为：Cloud

2017-05-11 14:27:51 3016

转载 Infrastructure_as_Code——Kubernetes一键编排实践

从开发者视角看基础设施我们经常拿IDC和云计算作对比，以此来衬托云计算的变化。IaaS、PaaS、SaaS都是从交付方面来阐述其所做的事情，IaaS是基础设施作为服务来交付，PaaS是把平台作为服务交付，SaaS是软件直接作为服务交付。对于开发人员来说，我们之前可能有专门的IDC，有专门的运维人员负责基础设施的维护（选IDC、网络、机器）。云计算的出现，尤其是基础设施作为服务的一个交付

2017-05-10 14:54:14 416

转载 E-MapReduce集群启停HDFS/YARN服务

启停HDFS服务HDFS服务启停，下面脚本需要在master节点运行，切需要在hdfs账号下。su hdfs启动HDFS执行下面脚本#!/bin/bashworker_cnt=`cat /etc/hosts | grep emr-worker | grep cluster | wc -l`master_cnt=1ha_flag=`grep -r high_availab

2017-05-10 14:37:51 329

转载云服务器ECS还原安全组规则功能介绍_安全组规则的备份与还原

一般来说安全组包含了很多规则，这些规则共同决定了安全组中的ECS实例开放和关闭了哪些大门，重要性不言而喻：当安全组中的规则和加入的ECS实例越来越多，安全组规则的维护愈发困难，不敢删不敢改，牵一发而动全身；同样，随着业务的发展，需要在不同地域部署时，同样的配置要在另一个地域再设置一遍，重复劳动。有没有办法解决这些问题？克隆安全组（备份）功能简介创建出一个新的安全组，其中包含的安

2017-05-10 14:29:11 292

转载 E-MapReduce集群中HDFS服务集成Kerberos

一、安装配置Kerberos1. 安装Kerberosmaster节点执行:sudo yum install krb5-server krb5-devel krb5-workstation -yslave节点执行:sudo yum install krb5-devel krb5-workstation -y2. 配置Kerberosmaster节

2017-05-10 14:06:33 877

转载 FastReport中如何加入自定义函数

在fastreport脚本可以写函数，当有许多windows自动api不能用，试着利用fastreport的AddFunction，OnUserFunction实现。（网上搜）Fastreport可以自己加入需要的函数，来实现特定的功能。过程就是：1)添加函数到报表中。frxreport1.AddFunction('完整的函数声明');如有一个自定义函数，为GetName(Old:

2017-05-09 16:41:57 1280

转载 centos7安装python开发环境（python3_postgresql_sublime_supervisor）

一. 安装gnome1.最小化安装centos7。2.安装X11。yum groupinstall "X Window System"。3.安装gnome。全安装：yum groupinstall -y "GNOME Desktop"。最小安装：yum install gnome-classic-session gnome-terminal。 nautilus-open

2017-05-09 14:59:27 432

转载你是「空巢程序员」吗？

什么是空巢青年？一个人吃饭，一个人睡觉，一个人努力工作……80后的他们被叫做蚁族，90后的他们被唤做空巢青年。最近，空巢青年”这个词突然间又火了起来。五四青年节前夕，阿里数据非常「贴心地」发布了《中国空巢青年图鉴》，联合芝麻信用和虾米音乐，用大数据还原了5000万在异地生活工作、年龄介于20到39岁「空巢青年」的地理位置、生活习惯、消费习惯、信用情况等。现在，单身青年程序员很大

2017-05-08 15:31:07 262

转载久经考验的全栈云平台：Apsara Stack Enterprise 新特性介绍

在2017云栖大会-南京峰会上，阿里云专有云高级专家谢宁做了题为《Apsara Stack Enterprise 新特性介绍》的分享。在分享中谢宁分享了目前企业级云架构的发展趋势，目前新应用互联网化，传统核心应用开始逐渐改造，而完整的云概念被企业级客户接受，集团云/行业云等多云管理客户的运维管理组织正在重构，同时云上安全问题引起了高度重视。而政务云也开始向着混合云平滑地演进。阿里云所提供的云产品以

2017-05-08 15:18:38 1215

转载飞天政务开放体系：数据为中心的云上政务平台与创新生态

在2017云栖大会-南京峰会上，阿里云政府业务架构总监史大治做了题为《飞天政务开放体系与智能服务》的分享。对于政务工作而言，面临着政务服务与政务数据的深度、广度不断上升，丰富的技术和应用不断涌现，业务不断融合，行政能力亟待提升的挑战。而互联网服务渠道的开通，让电子政务的建设，从对内（政府机关）的流程、管理建设，转向对外（人民群众）的服务建设。那么如何理解“政务云”呢？其实可以看做是以数据为中心的，

2017-05-08 15:06:02 747

转载像逛淘宝一样“办政事”：阿里云在政务领域的实践

在2017云栖大会-南京峰会上，阿里云政府业务事业部部委行业总经理陈峥做了题为《阿里云在政务领域的实践》的分享。随着阿里云的不断发展壮大，已经成为深受政府所信赖的伙伴，阿里云是全球前三 /国内绝对领先的公共云服务商，并且具有丰富的云计算产品体系，并且具有差异化的核心能力：基于飞天的一体化的技术架构，大数据的能力以及安全防护能力。阿里云为广大用户提供了108种行业专业解决方案，并在企业级市场中得到了

2017-05-08 14:57:45 740

转载云上安全三字经

阿里云在安全上倡导的是责任共担模型，简单说就是云平台的安全由阿里云负责，但云上租户自己的网络、主机、业务、数据的安全，需要租户自己负责，那作为一个租户，具体该怎么做呢？记得小时候的“三字经”郎朗上口，至今不忘。因此我就想，云上的安全能否也用3字经的方式表达？即简单又清晰，因此整理了下面9个安全“三字经”。这第1句是：筑堡垒。就是通过虚拟网

2017-05-08 14:37:07 472

转载数梦工场：新思维、新技术下的互联网+政务

在2017云栖大会-南京峰会上，数梦工场政务系统部部长赵东周做了题为《新思维、新技术下的互联网+政务》的分享。在政策的驱动下，互联网+政务不断深化发展，与此同时在新的发展形式下也遇到了数据、应用、平台和安全等多方面的问题，为了应对这些问题和挑战，新思维、新技术下的互联网+政务在平台层，应该从建好云发展到用好云，而在数据层也要从传统交换走向高速共享。

2017-05-08 14:31:37 398

转载计算成就价值_数据实现梦想——达科在DT时代转型历程的分享

在2017云栖大会-南京峰会上，江苏达科信息科技有限公司董事长洪智做了题为《生态在DT时代转型历程的分享》的精彩演讲。江苏达科信息科技有限公司业务涉及电信、党政、教育、金融以及能源等多个行业，年营业额达到5亿多元，拥有自己的支撑软件工程技术研究中心，并且参与了众多国家科研项目。在政务方面，达科参与了海关总署金关大数据云平台项目以及江苏省电子政务云计算平台项目等，拥有比较丰富的政务项目经验，并且为企

2017-05-08 14:28:05 402

京庐空间