自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

少许诺,多兑现

  • 博客(135)
  • 资源 (43)
  • 收藏
  • 关注

原创 Redis安装与基本配置

一、下载与安装wget http://download.redis.io/releases/redis-3.0.0.tar.gztar -zxvf redis-3.0.0.tar.gz -c /usr/local/cd /usr/local/redis-3.0.0makemake install二、系统参数调整vi /etc/sysctl.confvm.overcommit_memory

2015-09-07 17:28:57 1739

原创 You need tcl 8.5 or newer in order to run the Redis test

[root@~ src]# make test You need tcl 8.5 or newer in order to run the Redis test make: * [test] 错误 1解决办法安装tclwget http://downloads.sourceforge.net/tcl/tcl8.6.0-src.tar.gzcd tcl8.6.0/cd unix &&./conf

2015-09-07 16:52:27 6781

转载 linux awk命令详解

一、简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人 Alfred Aho 、P

2015-08-28 16:43:51 577

原创 Apache Tika

最近遇到外采产品中,编码不统一问题,故需要对编码进行转换并统一。手工转换代价太大,这就需要能够通过编码的形式动态探测源文件的编码类型,而后在进行统一格式转换。在转换过程中尝试通过编码直接去BOM来识别,但由于源文件编码类型很多,且很多不为常用和未知,转换工作很棘手。在网络上找到一篇文章,发现Apache Tika能够很好的识别源文件的编码类型,这个工具解决了团队在转码过程中的大

2015-06-16 09:48:31 987

原创 Maven构建过程中报“非法字符: \65279 ”错误的解决方法

[ERROR] COMPILATION ERROR : [INFO] -------------------------------------------------------------[ERROR] /home/account/jenkinsForDev/jenkins_home/jobs/loan/workspace/src/main/java/com/abc/xxBaen.java

2015-06-10 18:01:17 3630

原创 iftop

yum install flex byacc  libpcap ncurses ncurses-devel libpcap-develwget http://www.ex-parrot.com/pdw/iftop/download/iftop-0.17.tar.gzar zxvf iftop-0.17.tar.gzcd iftop-0.17./configuremake &&

2015-06-07 22:09:19 529

原创 更新CentOS 5.5 yum源

CentOS 自带的yum源为国外地址,常常无法正常更新和安装。为不影响使用,我们大多会选择国内的一些源地址来提供服务。国内常用的源大多使用中科大/网易或搜狐的,下面放上几个地址供大家选择:http://mirrors.163.com/.help/CentOS6-Base-163.repohttp://centos.ustc.edu.cn/CentOS-Base.repo

2015-06-07 21:33:37 8545

原创 Curator框架

众所周知Curator框架是Netflix公司开源的一套Zookeeper client library。他简化了zk client很多复杂的操作,如事件、异常、重连、集群等功能的简化和二次封装,省去了我们队zk client的设计与实现过程,让我们直接关注业务细节。Curator框架的文档不多,但API也相对简单,也比较优雅,他实现了Fluent interface风格。Demo:

2015-06-01 17:59:40 3982

转载 Javassist 学习笔记2

转自:http://zhxing.iteye.com/blog/1703305介绍:www.javassist.org/javassist、ASM 对比1、javassist是基于源码级别的API比基于字节码的ASM简单。2、基于javassist开发,不需要了解字节码的一些知识,而且其封装的一些工具类可以简单实现一些高级功能。比如HotSwaper。3、ASM比j

2015-05-08 12:05:23 1819

转载 Javassist 学习笔记1

Javassist是一个开源的分析、编辑和创建Java字节码的类库。Javassist是一个开源的分析、编辑和创建Java字节码的类库。是由东京工业大学的数学和计算机科学系的 Shigeru Chiba (千叶 滋)所创建的。它已加入了开放源代码JBoss应用服务器项目,通过使用Javassist对字节码操作为JBoss实现动态AOP框架。关于java字节码的处理,目前有很

2015-05-08 11:34:05 1351

转载 AMQ虚拟Destinations

转自:http://blog.csdn.net/kimmking/article/details/9773085ActiveMQ支持的虚拟Destinations分为有两种,分别是 Ø  虚拟主题(Virtual Topics)Ø  组合 Destinations(CompositeDestinations)这两种虚拟Destinations可以看做对简单的topic和queu

2015-05-05 15:09:15 806

原创 logback demo 2

根据产品的需要,对日志进行了调整,压缩归档日志按日期保留一定的天数,每个归档日志压缩前为200MB。详细配置参数可参考官网:http://logback.qos.ch/manual/index.htmllogback.xml: ${logback.stdoutLevel} ${logback.msg} <appende

2015-05-05 10:48:24 721 1

原创 ActiveMQ延迟和定时投递

AMQ的延迟和定时投递用起来非常的简单,可根据产品的需要在消息生产时添加必要的属性,即可达到目的。前提是已经为Broker添加了“调度支持”。来自官方的说明:http://activemq.apache.org/delay-and-schedule-message-delivery.htmlActiveMQ from version 5.4 has an optional pers

2015-04-21 11:38:11 6579 1

原创 再谈Apache ActiveMQ 负载均衡

前面文章《Apache ActiveMQ 负载均衡 》在最后有提到一个场景,就是当AMQ的节点数大于2个的时候(HA + LB),且配置了消息回流的情况下的一些问题。HA + LB的基本结构如下图:问题即发生在当生产者将消息投递到S节点后(AMQ SERVER),消费者X与A节点建立连接(Broker),根据AMQ的“预先消费”策略预先消费了一定数量的消息,即A节点消费了S节点的一

2015-04-01 20:34:09 15192 2

原创 解决:AMQ应用部署到weblogic服务器上出现“找不到匹配的方法setLifo"

基本环境:spring 3.1.0amp 5.9.xweblogic 10.3.5jdk 1.6.xlinux 2.6在将APP部署到weblogic上时,无法启动,提示”找不到匹配的方法setLifo“。原因是weblogic与amp都用到了apache commons lang包,且依赖的版本号不同,存在兼容问题。其中,amq依赖commons-la

2015-03-11 20:30:04 1282

转载 ORACLE日期时间函数大全

转自:http://www.cnblogs.com/chuncn/archive/2009/04/29/1381282.htmlTO_DATE格式(以时间:2007-11-02   13:45:25为例)           Year:              yy two digits 两位年                显示值:07        yyy three

2015-03-04 09:00:11 1532

原创 Scala的Trait

Trait就像一个拥有部分实现的接口,它提供了一个介于单一继承和多重继承的中间地带,因为我们可以在其他类里面混入(mix in)它们。这样就可以用一组特性对类进行增强。示例:abstract class Writer { def writeMessage(message: String)}trait UpperCaseWriter extends Writer { abst

2015-02-12 18:11:00 669

原创 Scala函数值及Curry化

一、函数值在Scala里,可以在函数里创建函数,将函数赋给引用,或者把它们当做参数传给其他函数。示例1:def totalResultOverRange(number:Int, codeBlok:Int => Int) : Int = { var result = 0 for(i <- 1 to number){ result += codeBlo

2015-02-12 17:27:56 3033

原创 Scala类继承与单例对象

一、Scala类继承Scala继承一个基类跟Java很相似,只多了两点限制:1、重写方法需要override关键字,2、只有主构造函数才可以往基类的构造函数里写参数。Scala的副构造函数必须调用主构造函数或另一个构造函数,在Scala里主构造函数如同一道关卡,类的实例需要通过他来初始化。示例:class Vehicle (val id:Int, val year:Int){

2015-02-12 16:31:11 5330

原创 使用Scala提取器

Scala语言是函数类型、也是面向对象型的编程语言。他的语法非常简洁,简洁到连方法的括号,语句结尾的分号等等都可以适当的省略掉。同时,他也提供了非常强大的API供我们使用。先展示一下他的提取器在模式匹配中的应用吧。一、首先定义两个提取器object Symbol { def unapply(symbol:String):Boolean = symbol ==

2015-02-12 11:29:03 3427

原创 Maven javadoc

用Maven生成javadoc首先在pom.xml增加如下内容: ... org.apache.maven.plugins maven-javadoc-plugin 2.10.1 html M

2015-01-29 15:28:47 614

原创 Mockito 简介

EasyMock 以及 Mockito 都因为可以极大地简化单元测试的书写过程而被许多人应用在自己的工作中,但是这 2 种 Mock 工具都不可以实现对静态函数、构造函数、私有函数、Final 函数以及系统函数的模拟,但是这些方法往往是我们在大型系统中需要的功能。PowerMock 是在 EasyMock 以及 Mockito 基础上的扩展,通过定制类加载器等技术,PowerMock 实现了之前提

2015-01-16 15:25:28 1062

原创 基于Spring的PowerMockito TestCase

很多J2EE应用都是基于Spring的,一些比较复杂的测试用例,如果用基于TestCase比较难满足全部的测试场景。所以,我们会用到一些Mock工具,如PowerMockito: org.powermock powermock-module-junit4 1.4.10 test org.powermock powermock-api-mockito 1.4.10 t

2015-01-15 15:46:52 6904

原创 logback demo

%date [%thread] %-5level %logger{80} - %msg%n ${log.base}/${log.proj}_info.log ${log.base}/${log.proj}_info.%i.gz 1 20 ${max.size}

2015-01-09 10:54:34 1675

原创 apache poi demo

public class PoiTest extends TestCase{ List userList; SimpleDateFormat dateFormat; DecimalFormat numberFormat; public void testPoi() throws IOException{ System.out.pr

2015-01-09 10:41:47 843

转载 线上应用故障排查之二:高内存占用

搞Java开发的,经常会碰到下面两种异常:1、java.lang.OutOfMemoryError: PermGen space 2、java.lang.OutOfMemoryError: Java heap space 要详细解释这两种异常,需要简单重提下Java内存模型。Java内存模型是描述Java程序中各变量(实例域、静态域和数组元素)之间的关系,以及在实际计算机系统中将变

2014-12-31 09:49:41 1469

转载 线上应用故障排查之一:高CPU占用

列进程信息:topps aux | grep PID显示线程类表:ps -mp pid -o THREAD,tid,time将某线程ID转换为16进制格式:printf "%x\n" tid打印线程的堆栈信息:jstack pid | grep tid -A 30转自:http://www.blogjava.net/hankchen/arch

2014-12-31 09:44:05 3118

转载 Velocity User Guide 用户手册

转自:http://blog.csdn.net/gaojinshan/article/details/23945879

2014-11-11 14:12:58 1697

原创 Mybatis foreach 批量操作

foreach属性属性描述item循环体中的具体对象。支持属性的点路径访问,如item.age,item.info.details。具体说明:在list和数组中是其中的对象,在map中是value。该参数为必选。collection要做foreach的对象,作为入参时,List对象默认用list代替作为键,数组对象有array代替

2014-11-07 17:38:56 40740 2

原创 Maven的Mojo标注

每个Mojo都必须使用@g

2014-10-06 13:09:59 3528 2

原创 Maven插件开发

shou'x

2014-10-06 12:39:18 673

原创 Maven中插件任务配置

除了为插件配置全局的参数,用hu

2014-10-06 11:21:15 1164 1

原创 Maven插件配置

在POM中配置插件的时候,如果该插件使ave

2014-10-06 11:05:38 680

原创 Maven常用命令 - 构建反应堆中指定模块

mvn -h 可以看到很多命令及其用途;-am --also-make 同时构建所列模块的依赖模块;-amd -also-make-dependents 同时构建依赖于所列模块的模块;-pl --projects 构建制定的模块,模块间用逗号分隔;-rf -resume-from 从指定的模块恢复反应堆。假设有如下聚合模块:account-aggregator ,其依次

2014-09-24 22:08:10 22061 1

转载 wget 命令用法详解

来自:http://www.cnblogs.com/analyzer/archive/2010/05/04/1727438.html

2014-09-11 16:48:01 547

原创 在SecureCRT上使用上传下载指令

SecureCRT,这是一个很好用的工具,

2014-09-11 11:16:44 686

转载 cannot restore segment prot after reloc: Permission denied 解决方法

在Linux上配置来自:http://blog.csdn.net/wei801004/article/details/4318852

2014-09-11 10:09:22 683

原创 Apache cxf JaxRs基本应用

在前一篇中,我们完成了《Apache cxf JaxWs基本应用》 的编写,我们现在实现一个Restful风格的Cxf 。一、我们首先依旧是基于Maven project配置pom.xml的依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst

2014-09-01 15:32:39 20711 2

原创 Apache cxf JaxWs基本应用

本文以CXF 2.6.x为例,会用到jsr311.jar 。当前CXF最新版本为3.x,依赖jsr版本也有所不同,且Spring配置文件中也不再需要配置:。在做版本升级时,需要留意上细节。现在开始以CXF2.6.x做一些Demo。一、首先我们搭建一个Maven Project,其中pom.xml完整内容如下:<project xmlns="http://maven.apache

2014-09-01 14:11:49 15719 3

转载 在cxf中使用配置避免增加字段导致客户端必须更新的问题

在使用cxf实现webservice时,经常碰到的问题就是如果在服务端,修改了一个接口的签名实现,如增加一个字段,或者删除一个字段。在这种情况下,在默认的配置中,就会报以下的错误信息:org.apache.cxf.interceptor.Fault: Unmarshalling Error: unexpected element . Expected elements are这种错

2014-08-28 22:40:19 2327

网易蜂巢Docker云计算平台架构演化 - 杭州研究院网易蜂巢云计算负责人 - 尧飘海

网易蜂巢是基于Docker 容器打造的云计算平台,以提高开发效率,降低研发成本为核心目标,提供极佳的用户体验,极速的性能,全面助力开发者开发云端应用。网易云之前多年稳定运行、支撑了众多重量级网易互联网产品(门户/新闻客户端、云音乐、考拉等)的线上业务运行。为了支持公有云的建设,我们对平台整体架构进行了优化演变,包括机房建设,基础设施,编排系统,容器服务,镜像仓库,管理服务等,同时也面临更多高难度的技术及工程复杂度的挑战,本分享主要介绍蜂巢云服务构架的演化过程及工程实践经验分享。

2016-07-18

社交数据的征信探索之路 - 腾讯社交网络运营部高级工程师 - 潘宣良

近年来,“互联网+”成为新闻热点,而在国家相关政策的大力支持下,互联网金融应运而生并快速发展,“小而散”的长尾市场得以激活;而与此同时,机构与客户之间所存在的信息不对称,导致信用风险持续存在并越发突出。但由于传统的征信模式存在明显局限,征信壁垒难以打破,其发展速度已经很难满足经济社会高速发展的内在需求。要解决上述问题,如何充分获取信息并对信息进行有效使用和管理就显得极为关键。而QQ社交征信团队正是希望通过深入分析挖掘社交大数据,充分发挥其在信用风险管理领域的应用价值。 那么,如何利用社交数据对信贷客户的贷前、贷中乃至贷后实现全生命周期的风险管理?如何充分挖掘腾讯丰富的数据资源,构建可用于信用分析的用户画像?如何高效处理海量的用户数据(超过10亿的QQ用户,超过千亿级别的各类日志数据)?如何结合传统的信用评分建模技术和机器学习算法,提升对用户风险评估能力?如何通过对社交网络的分析挖掘,量化用户信用风险的传递效能?QQ社交征信团队对此进行了深入地研究与探索,并积累了一些经验和心得。 听众受益: 对基于社交大数据在信用风险领域的应用实践有更多的了解,帮助开拓思路; 对包括社交征信在内的互联网征信及大数据技术应用有更多的思考,促进共同探索。

2016-07-18

跨越篱笆—蘑菇街每秒最大订单数25倍提升历程 - 蘑菇街技术专家 - 白辉(七公)

每秒能支撑的峰值订单数是衡量电商系统高并发可扩展能力的重要体现。2015年我刚加入蘑菇街时,只能支撑400单左右每秒的交易创建,严重不满足业务超高速发展和大促迅猛流量的要求。在加入蘑菇街电商团队后,我带领团队同学一起,历时一年,先后主导了蘑菇街系统拆分&服务化1.0体系构建、购买链路核心服务的性能提升&服务架构1.5、服务SLA保障推动稳定性提升&服务架构2.0,完成服务框架、MQ、配置中心、数据库分库分表、分布式缓存、调用链跟踪等一系列重要中间件的自研、完善和在全站落地,蘑菇街电商平台快速走出了一条高效、实用的服务化发展路径,大促高峰期间每天服务调用量达到千亿次,每秒能支撑最大订单数达到了1W笔,提升了25倍!这个过程中到底翻越了哪些障碍、篱笆呢?请听我娓娓道来。 听众受益: 1. 了解大型电商网站快速发展过程中完整的服务化发展和服务架构升级历程; 2. 获取大型电商网站服务性能提升和SLA保障的实战经验参考;

2016-07-18

QQ空间面向移动时代HYbrid架构设计 - 腾讯高级工程师 - 黄俊涛

社交网络日新月异,需要更快,更灵活的技术架构才能满足用户日益丰富的媒体需求,Hybrid App架构具备了快速发布的能力,同时也有更接近Native的流畅体验以及性能; 本次分享主要介绍QQ空间Hybrid架构,包括如何提高H5页的加载速度以及稳定性,以及使用React Native如何提高体验,改善性能; 听众受益: H5页面如何实现“秒开”体验; web在移动化时代的全栈式思考; ReactNative在app内的百万级实践;

2016-07-18

基于大数据的信贷审批系统 - 挖财资深架构师 - 曹静静 PPT内容

挖财是涵盖记账、管钱、理财、信贷、社区等全方位资产管理服务的移动互联网金融平台。信贷的未来在线上,线上信贷和传统信贷有很大区别,难度更大。如何充分的利用大数据进行反欺诈和信用评分,如何使用大数据建立高效的审批核系统,如何在有限的人力下实现业务的指数增长。针对这些问题,这次分享先提出业务中的关键问题、然后进行架构设计、并解释架构设计的重点。内容将涵盖中后台系统架构,数据平台架构以及二者融合之道。分享中大部分内容是来自于挖财信贷现有系统,希望在这里能够抛砖引玉,共同探讨未来线上信贷业务的建设。 本演讲将通过挖财审批数据系统,数据分析二三例的剖析,重点介绍大数据如何在现代审批核系统中使用,针对信贷系统面临的困难如何建立大数据平台,如何建设相关系统支撑大数据。

2016-07-18

开放的企业级融合云平台设计思路 - 安尚云信CEO - 鲁为民

企业需要转变和创新来适应新的市场挑战,开放的云计算平台PaaS技术助力企业持续创新和保持竞争力。开放的云技术 OpenStack、Cloud Foundry以及Docker 经过这些年的发展,已被市场广泛的接受。它们侧重于云计算技术的IaaS和PaaS不同层面。开放云技术的融合可以打消人为的技术界限,更好地满足和整合用户多种不同业务需求。目前的趋势是基础平台的需求从工作负载的整合在向应用的投放转变,更好地和用户交互,从而更有效地驱动企业业务的增长。 企业IT更多地从基础设施转变为体现在应用上。一般认为IaaS负责基础设施及其自动化,PaaS管理工作负载并快捷的将其投放市场,进而直接影响业务。相对来说PaaS是较具颠覆性的云服务模式,PaaS是一个本质上不同的应用设计,部署,运行方式。但这种模式的采用会给企业带来前所未有的价值。特别是作为“最后一英里”的云技术,PaaS 已不断地成为企业云计算战略的一个关键部分。同时,IaaS 和 PaaS 等技术的相互渗透和融合可以更为灵活地为用户动态提供多元计算资源抽象:包括VMs 和容器化资源;基础资源和应用资源。同时这种融合可以简化应用生命周期管理,提供高效的应用和服务开发、部署和运维。云计算的开放性所产生的融合也模糊技术和业务的界限,或者技术不断地成为企业业务的重要部分。

2016-07-18

高速发展的饿了么订单系统架构演进 - 饿了么平台交易支撑负责人 - 石佳宁

饿了么在高速发展中订单系统的演变过程经历了几个阶段,技术上的并发支撑,服务化解耦,重构拆 分以适应新的业务模型和领域等等.其中涉及到很多与传统电商不一样的痛点.为了最大程度跟进饿了么快速发展的步伐,订单系统的发展在技术、稳定、扩张以及业务几个层面多次转换重心,但是一直坚持技术驱动的理念. • 听众受益 : 了解O2O订单和传统电商订单模型由于业务导致的差异化; 了解O2O订单运转和发展; 了解核心架构应用如何在业务推动下发展的;

2016-07-18

次世代图形接口 Vulkan 对行业的影响 - 上海英伟达 GPU 架构师 - 张静

在多年的 OpenGL 标准之后,Khronos 于 2016 年 2 月的 GDC(游戏开发者大会)上正式发布 Vulkan 1.0 标准。Vulkan为各种设备的GPU上的图形渲染和通用计算带来了高效跨平台的标准,涵盖了PC、智能电话和嵌入式平台。作为 OpenGL 的替代者,重新设计后的 Vulkan 能够实现 GPU 性能最大化和对硬件的直接控制,同时保证最小化CPU负载和高效的多线程性能。 这次演讲将解决的问题包括: (1)和 OpenGL 相比,Vulkan 有哪些优缺点? 更贴近硬件实现的编程模型意味着驱动端节省大量时间,带来的后果是编写应用程序时需加倍小心。优点,有时候也是缺点。 (2)是否需要升级项目以支持Vulkan? 并非所有 OpenGL 应用都需要升级到 Vulkan,我们从 Vulkan 能够解决的问题入手,总结适合升级的应用类型。 (3)升级时需要考虑哪些因素? 有哪些坑,如何避免它们,有什么工具可以辅助升级过程,这些都将得到解答。 听众收益: 通过本次演讲听众可以了解到 Vulkan 和 OpenGL 的区别以及Vulkan 本身的优缺点,知道常用的 Vulkan 调试工具,提前获知项目升级为 Vulkan 版本潜在的陷阱。

2016-07-18

人工智能产品创新技术分析 - 格灵深瞳首席软件工程师 - 苑维然

在格灵深瞳,我们发布了一系列领先的人工智能产品,它们基本上都是在市场上尚未出现同类的时候开始定义和开发的,在创新的技术与市场磨合的过程中,产品方向、技术架构上必然要踩过无数的坑。近来,人工智能产品如同雨后春笋,希望在这次分享中,能够以我们的视觉分析产品研发过程为主线,整理出一个相对清晰的产品和架构的思路。 演讲提纲: 1. 近年来人工智能技术突破的成因; 2.介绍几种人工智能产品的软/硬件形态; 3.人工智能软件架构:计算引擎篇; 4.人工智能软件架构:数据处理篇; 5.人工智能软件架构:应用篇; 6.逐步复盘,几款实际产品研发的经验和教训; 7.个人对行业的展望; 听众受益: 在方兴未艾的人工智能产业革命中,一个靠谱产品的精进; 求同存异,在人工智能产品研发中,作为软件工程师,你会受益于哪些技术的修炼;

2016-07-18

用户体验和风险双重挑战下的技术架构 - 上海秦苍(买单侠)直销平台架构师 - 马朋

买单侠是互联网消费金融领域领先的创业公司。对于消费金融公司而言,和消费场景的结合使得公司在用户体验和风险管理上的技术挑战非常大。在一个消费冲动的场景中,面对一个陌生的消费用户,如何确保风险可控,并且尽可能快地让用户获取到信用贷款进行消费,提高用户体验,是互联网消费金融公司的核心竞争力。 本次分享将着重介绍买单侠的技术架构是如何保障面对一个陌生用户做到最快3分钟,平均8分钟放款,并且确保风险可控的。同时,会深入讲解买单侠自己的审核系统。

2016-07-18

Spark 展望&应用开发 - 亚马逊AWS首席云计算技术顾问 - 费良宏

Spark 这个诞生了7年的开源框架已经成为了今天大数据市场上最炙手可热的词汇。而即将到来的Spark 2.0 将会成为这个项目的一个重大的里程碑。也许你会感兴趣新的版本中那些激动人心的特性:DataFrame、SparkR、StreamingML 以及Dataset API,那么我将在这个议题里面与你一同展望。此外,作为开发者的你或许希望可以了解围绕Spark 应用开发的一切。 我将以Python 为例, 聊一聊如何Spark 引擎开发诸如实时数据流或者批任务这一类数据密集性应用。

2016-07-18

蘑菇街背后系统的稳定性保障实践 - 蘑菇街技术经理 - 苏武

电商每年有大促的考验,电商业务复杂,电商系统比业务更复杂,大促高峰期系统的压力远大于平时,怎么才能保障系统在高峰期的稳定性;如何从业务目标出发,比较准确的预估每个系统的峰值;如何在准备阶段做系统架构风险梳理和系统改造,如何做系统的压力测试才能得到准确的系统数据,如何做峰值时系统的限流和有损服务,本文将一一讲解。 演讲提纲: 1.大促的特点; 2.蘑菇街稳定性保障方法论; 3.业务目标分解,峰值评估; 4.系统架构梳理和依赖分析; 5.全链路压测; 6.限流降级,开关和预案的准备; 7.总结; 听众受益: 1.对电商大促稳定性保障玩法的了解; 2.学习稳定性保障的方法论; 3.了解具体稳定性系统的实现方式,如限流降级系统,开关系统,全链路跟踪和压测系统等;

2016-07-18

基于大数据的全球电商系统架构性能优化 - 阿里巴巴速卖通技术部总监 - 郭东白

传统的性能优化往往只注重一个技术指标, 最终的业务结果很难量化。本次演讲向大家介绍一个基于大数据准确度量性能对电商业务的回报的方法。也就是说,任何一个微小的局部性能优化(investment)带来的新增订单(return)可以被精确估算出来。因此,我们在性能上的投入产出比(ROI)就可以被准确的度量出来。 这种准确的度量, 不但帮助我们更理智的决策在性能的投入, 而且带来了新的跨团队、可拆分、并且是可以大规模协同、和跨领域复制的全新的性能优化模式。 因为一个小的性能优化可以局部测试后再分批、分阶段、分团队、跨领域大规模复制。 利用这种模式,阿里巴巴的AliExpress团队在6个月内通过性能优化带来10.5%的订单增长。 并且这个模式被复制到了阿里巴巴全集团十几个BU, 其中包括淘宝、天猫、聚划算和阿里云。 听众受益: (1)学习大数据性能建模方法和基于大数据的实时度量性能损耗(因为性能不好而损失的订单占比)方法 (2)学习各分项性能指标比如说下单页面白屏,首屏,和全屏加载TP50和TP99数据采集方案和监控方式。 (3)对比不同优化方案的的结果和投入产出比:比如说专线回源、网络层权威DNS部署、CDN动态加速、AJAX请求合并、网络协议升级和图片编码优化等。

2016-07-18

Resoling transactional Access-Analytic Performance Trade_offs

Over the past several years, the Hadoop ecosystem has made great strides in its real-time access capabilities, narrowing the gap compared to traditional database technologies. Despite these advances, some important gaps remain that prevent many applications from transitioning to Hadoop-based architectures. Users are often caught between a rock and a hard place: columnar formats such as Apache Parquet offer extremely fast scan rates for analytics, but little to no ability for real-time modification or row-by-row indexed access. Online systems such as Apache HBase offer very fast random access, but scan rates that are too slow for large scale data warehousing workloads. This talk will investigate the trade-offs between real-time transactional access and fast analytic performance from the perspective of storage engine internals. It will also describe Apache Kudu (incubating), a new addition to the open source Hadoop ecosystem with out-of-the-box integration with Apache Spark and Apache Impala (incubating), that fills the gap described above to provide a new option to achieve fast scans and fast random access from a single API.

2016-07-18

Docker and Immutable Infrastructure

1.Overview of Docker the company and growth 2.Overview of Docker the latest stuff (DCUS announcements) & CaaS; 3.Overview of Immutable infrastructure and Microservices; 4.Docker and Immutable infrastructure/Microservices working together.

2016-07-18

自定义数据处理平台的容器化实践 - 七牛云资深研发架构师 - 袁晓沛

七牛自定义数据处理,是基于容器技术的数据处理平台。容器技术具有轻量化的特性,让七牛自定义数据处理平台的计算资源伸缩更迅速,给软件的升级流程、灰度发布、回滚等部署问题带来很大便利。容器调度系统性能高、可靠性高,为实现高效的计算力伸缩提供保障。本次演讲将结合七牛自定义数据处理平台业务的容器化实践,从平台的业务特点,为什么容器化,如何实现容器化以及容器实践的具体效果等角度来进行分享。

2016-07-18

从MVC到微服务,技术演变的必经之路 - 北京简网CTO - 郭理靖

为什么传统的MVC模式已经不满足业务的快速变化?如何从传统的MVC框架转移到微服务架构?又应该如何制定相应的微服务架构?微服务架构又应该如何被治理?容器云是微服务治理的最好方案吗?本次演讲将和大家一起探讨这些问题。

2016-07-18

二次创业者的失败 - 丁香园技术VP,EGO上海分会会长 - 范凯

介绍Robbin作为一个二次创业者在2014-2015年是如何创业失败的,又从创业的失败经历当中总结了哪些经验教训。

2016-07-18

ngx_lua 在又拍云的应用:日志收集及其他 - 又拍云系统开发工程师 - 张聪

ngx_lua 是一个 NGINX 的第三方扩展模块,它能够将 Lua 代码嵌入到 NGINX 中来执行。UPYUN 的 CDN 大量使用了 NGINX 作为反向代理服务器,并开发了一系列例如流量统计、缓存调度、防盗链等相关的 C 模块,但从 2013 年开始由于业务场景的复杂化,使得用 C 模块来写这些业务逻辑有点力不从心了,对于小团队来说开发和维护负担都很重,因此我们选择了将这部分业务逻辑迁移到 ngx_lua 上,事实表明,这大大提升了我们整个 CDN 层业务功能的迭代速度和最终线上表现。此次主要跟大家分享的就是我们团队在这整个转换过程中的一些心得体会,以及在 NGINX 上基于 ngx_lua 的一些有趣的功能,特别地,会着重介绍下我们是如果利用 ngx_lua 的灵活性来动态收集日志进行数据聚合分析的。

2016-07-18

sgip解码器 for Wireshark

Wireshark的插件:SGIP解码器,适用于SMS协议分析、问题定位

2013-09-16

wrapper for windows

wrapper for windows 利用wrapper将java封装成NT Service,内包含一个Demo,下载后可直接运行。jre 1.6.x

2013-07-03

protobuf-java-2.5.0

Google Protocol Buffer 是一个平台无关、语言无关的结构化数据的序列化与反序列化工具。

2013-06-25

人件中文版

人件中文版,非常清晰,经典的好书,值得典藏!!

2012-07-17

google_C++_编码规范(完整版)

google_C++_编码规范(完整版) 原版,值得收藏!

2012-07-17

1000个excel表格模板

1000个excel表格模板

2012-07-17

Office2007中文版入门实战与提高[模板]

Office2007中文版入门实战与提高[模板]

2012-07-17

负载均衡开源解决方案

负载均衡开源解决方案 其中对haproxy介绍的内容比较多,下来看看吧,还是有些价值的。

2012-07-17

五百个EXCEL模板

五百个EXCEL模板 涉及的模板很多,下来自己看吧

2012-07-17

新浪内部对腾讯公司的深度解析演讲稿

新浪内部对腾讯公司的深度解析演讲稿, 极具参考价值

2012-07-17

阿里巴巴公司内部资料:交互设计全档案

阿里巴巴公司内部资料,没的说。 引言 一直以来,交互设计师都是一个受到广泛质疑的岗位,很多人不了解交互设计师的价值,更直接的说,我们大多数的交互设计师没有表现出足够的、令人信服的专业度。 大约五年前选择了这个职业,一路走来,质疑过、探讨过,也争辩过。和很多交互设计师一样,我也有过盲目自信和茫然失措,历经时间的鞭挞后,渐渐的我对这份工作、这个专业,有了一些个人的感悟…… 从我的理解来看,100分的顶尖交互设计师们通常天赋异禀、特立独行。但75分的合格交互设计师们却有迹可循,完全可以看作是流水线生产的标准件,今天,我和大家聊的就是这些75分交互设计师的专业度体现。 ·交互设计师的基本素质 首先,谈谈我个人对交互设计师基本素质的看法。从我个人的理解来看,可以简单归纳为九字诀:“听、看、想、说、磨、做、验、写、讲”(如图1.1)。 图1.1 1)听:做一个交互设计师,最重要的一点就是要懂得倾听(这里蕴藏了一个隐晦的性格属性:谦虚!)。通常情况下,我们不是用户,所以很难100%代表用户,更左右不了老板,所以我们首先要有听的本事,把来自用户的、老板的、PD的、视觉的、前端的、开发的、测试的、市场的、业界的等各方面的声音都听过来,听进去。 2)看:99%的情况下,交互不是一蹴而就的创造工作,它是站在前人肩膀上不断迭代更新的行为过程。我这里指的“看”是要求设计师能博览、能泛猎,看到好的,见过差的,什么都略懂,交互才能变得很美…… 3)想:交互是思考的输出产物和表现形式。当设计师将之前听到的和看到的内容在头脑中加以整理、分析,经过发散的创造性碰撞和严谨的逻辑论证后,逐渐得到了相对靠谱的交互产物。这个思索分析的过程贯穿于交互设计工作流程的每个环节。 4)说:一个能说会道的人不一定是一个优秀的交互设计师,但一个优秀的交互设计师必然是一个善于准确表达自己想法和观点的人。在这一点上,我坚持交互是一门分享的学科,需要的是开放的性格和良好的沟通技巧。 5)磨:耐心、技巧、热情的综合表现。在一个项目的进程中,不可避免的会面临很多的挑战,优秀的交互设计师善于发挥“磨”的精神,他们怀揣对交互专业的无比热情,以无所不用其极的技巧,耐心的缠死一个又一个质疑方,最终让大家认同并帮助推动设计的实现。通常来说,一个优秀的交互设计师会是一个优秀的Idea推销员。 6)做:交互设计师专业度的核心表现。俗语说得好,是骡子是马,牵出来遛遛。对于交互设计师来说,之前的环节做得再好、再完美,也只是停留在设计师自己的脑子里,游荡于听众们的耳膜间。如果理论落实不到实际,那所有的想法都只是空中楼阁,你之前所有的努力都只是在佐证你的空泛和不切实际。所以我们不仅要能“做”,更要“做”得漂亮,“做”得完美!我一直都是这样认为:“做”决定了一个交互设计师是不是靠谱,决定了一个交互设计师的高度,是一个交互设计师最根本的专业素质。 7)验:用户体验设计,最终是要落实到用户的身上的。客观中立的验证、分析、评估能力是一个优秀交互设计师的重要素质。无论个人还是团队,设计的成果都需要通过精准的测试才能算得上合乎标准,此时,一颗平常心和一双敏锐的眼睛是设计师最需要的。 8)写:分析、归纳和总结能力的综合表现。一个项目,无论成功还是失败,总是有很多地方值得设计师本人或后来人借鉴。交互设计之路不是一座苛求零失误的独木桥,但绝对是一条要求零“重复”失误的单行线。评价一个设计师的专业度,很重要的一环就是看他能不能多犯前人从来没有犯过的错误,并能有效总结给后来人。于是,他就成了大家,路就这样被趟了出来…… 9)讲:演讲能力。这里所指的是在项目后期进行的交流分享。一个专业的交互设计师会站在宏观的高度上,以平和的心态同他人沟通,验证自己先前设计的合理性、全面性和科学性,更好的提高自己的专业能力,为今后的交互设计做好准备。

2012-07-17

腾讯公司产品需求文档模板

腾讯公司的内部产品值得参考 修订记录 1 目 录 1 1 前言 2 1.1 名词解释 2 1.2 参考文档 2 1.3 整体流程/逻辑关系 2 2 特性 2 2.1 特性 F01 XXXX 2 2.1.1 特性所包含的功能 2 2.1.2 功能性需求(Functional Requirements,FR) 2 2.1.2.1 F01.FR01 XXXXX 2 2.1.2.2 F01.FR02 XXXXX 3 2.2 特性 F02 XXXX 3 3 性能需求 3 4 国际化需求 4 5 附录 4

2012-07-17

用户体验与交互设计及案例介绍

用户体验与交互设计及案例介绍,非常实用,值得参考

2012-07-17

Jprofiler详细使用与分析

Jprofiler Jprofilerx详细使用 jprofiler分析,非常细致,深入浅出。

2012-03-15

VI编辑器的使用

vi编辑器的使用详解,非常细致,文档编辑刘晓涛老师,再次感谢老师。

2012-02-29

Python基础教程(第2版)

本书包括Python程序设计的方方面面,首先从Python的安装开始,随后介绍了Python的基础知识和基本概念,包括列表、元组、字符串、字典以及各种语句。然后循序渐进地介绍了一些相对高级的主题,包括抽象、异常、魔法方法、属性、迭代器。此后探讨了如何将Python与数据库、网络、C语言等工具结合使用,从而发挥出Python的强大功能,同时介绍了Python程序测试、打包、发布等知识。最后,作者结合前面讲述的内容,按照实际项目开发的步骤向读者介绍了几个具有实际意义的Python项目的开发过程。   本书内容涉及的范围较广,既能为初学者夯实基础,又能帮助程序员提升技能,适合各个层次的Python开发人员阅读参考。

2012-02-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除