自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 kylin介绍

转载:  http://www.mamicode.com/info-detail-1015006.html  Kylin是ebay开发的一套OLAP系统,与Mondrian不同的是,它是一个MOLAP系统,主要用于支持大数据生态圈的数据分析业务,它主要是通过预计算的方式将用户设定的多维立方体缓存...

2017-06-28 16:25:43

阅读数 329

评论数 0

转载 Maven介绍,包括作用、核心概念、用法、常用命令、扩展及配置

由浅入深,主要介绍maven的用途、核心概念(Pom、Repositories、Artifact、Build Lifecycle、Goal)、用法(Archetype意义及创建各种项目)、maven常用参数和命令以及简单故障排除、maven扩展(eclipse、cobertura、findbugs...

2017-04-27 16:20:22

阅读数 339

评论数 0

转载 Neo4j介绍与使用

Neo4j简介 Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数...

2017-04-01 11:45:43

阅读数 649

评论数 0

原创 CDH5.10 ubuntu14.04部署文档--离线安装

CDH5.10 ubuntu14.04部署文档 --离线安装 1. 说明 本次部署使用台机器,4台用于搭建CDH集群,1台为内部源。内部源机器是可以连接公网的,可以提前部署好内部源(内部源服务器是已经存在的ubuntu14.04服务器),4台CDH集群服务器是无法连接内外。本次部署涉及到的服务器的...

2017-03-15 18:53:33

阅读数 2470

评论数 0

原创 ubuntu下允许root用户ssh远程登录

1. 修改root密码:  $ sudo passwd root 2.修改ssh配置文件 $ sudo vi /etc/ssh/sshd_config 修改如下: #PermitRootLogin without-password PermitRootLogin yes ...

2017-02-24 13:55:05

阅读数 310

评论数 0

转载 完全理解Python迭代对象、迭代器、生成器

在了解Python的数据结构时,容器(container)、可迭代对象(iterable)、迭代器(iterator)、生成器(generator)、列表/集合/字典推导式(list,set,dict comprehension)众多概念参杂在一起,难免让初学者一头雾水,我将用一篇文章试图将这些概...

2016-10-31 16:13:52

阅读数 295

评论数 0

转载 mongo基础

一、基础 1、mongodb是什么类型的数据库?     mongodb是一个基于document的NOSQL数据库,每条数据的结构为BSON形式。mongodb不能支持join和事务,支持索引(组合索引、唯一索引等)和丰富的查询条件,单条document的写操作是原子的。mongod...

2016-09-21 18:57:49

阅读数 470

评论数 0

转载 pycharm 2016 2注册码

43B4A73YYJ-eyJsaWNlbnNlSWQiOiI0M0I0QTczWVlKIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNza WduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljd...

2016-08-18 12:57:46

阅读数 942

评论数 0

转载 消息队列设计精要

消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。 当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发的Notify、MetaQ、Ro...

2016-07-05 14:37:55

阅读数 325

评论数 0

转载 rpc简介、原理、实例-缘于difx

简介 RPC(Remote Procedure Call,远程过程调用)是建立在Socket之上的,出于一种类比的愿望,在一台机器上运行的主程序,可以调用另一台机器上准备好的子程序,就像LPC(本地过程调用).越底层,代码越复杂、灵活性越高、效率越高;越上层,抽象封装的越好、代码越简单、效率...

2016-07-05 09:40:31

阅读数 386

评论数 0

转载 六大Web负载均衡原理与实现

开头先理解一下所谓的“均衡” 不能狭义地理解为分配给所有实际服务器一样多的工作量,因为多台服务器的承载能力各不相同,这可能体现在硬件配置、网络带宽的差异,也可能因为某台服务器身兼多职,我们所说的“均衡”,也就是希望所有服务器都不要过载,并且能够最大程序地发挥作用。   一、htt...

2016-06-08 17:45:18

阅读数 294

评论数 0

转载 python技巧

本文整理自SO上的热门问答 hidden features of python ,早期有人做过类似的整理,但是内容比较旧而且比较粗糙,因此笔者在原文基础上加入自己的一些理解,另外那些高质量的评论也引入进来了。总之,这是一篇用心之作,希望你可以喜欢。 链式比较操作 >>> ...

2016-04-18 14:21:26

阅读数 235

评论数 0

转载 pycharm快捷键

pycharm-3.4.1/help目录下可以找到ReferenceCard.pdf快捷键英文版说明 PyCharm Default Keymap PyCharm3.0默认快捷键(翻译的) 1、编辑(Editing) Ctrl + Space 基本的代码完成(类、方法、属性) C...

2016-04-11 17:23:50

阅读数 262

评论数 0

转载 MySQL · 引擎特性 · InnoDB Fulltext简介

前言 从MySQL5.6版本开始支持InnoDB引擎的全文索引,语法层面上大多数兼容之前MyISAM的全文索引模式。 所谓全文索引,是一种通过建立倒排索引,快速匹配文档的方式。MySQL支持三种模式的全文检索模式: 第一种是自然语言模式(IN NATURAL LANGUAGE MODE...

2016-03-12 18:04:05

阅读数 1161

评论数 0

转载 MySQL · 引擎特性 · InnoDB文件系统管理(二)

传统压缩存储格式 当你创建或修改表,指定row_format=compressed key_block_size=1|2|4|8 时,创建的ibd文件将以对应的block size进行划分。例如key_block_size设置为4时,对应block size为4kb。 压缩页的格式可以...

2016-03-12 18:02:32

阅读数 503

评论数 0

转载 MySQL · 引擎特性 · InnoDB文件系统管理(一)

综述 从上层的角度来看,InnoDB层的文件,除了redo日志外,基本上具有相当统一的结构,都是固定block大小,普遍使用的btree结构来管理数据。只是针对不同的block的应用场景会分配不同的页类型。通常默认情况下,每个block的大小为UNIV_PAGE_SIZE,在不做任何配置时值...

2016-03-12 18:00:58

阅读数 502

评论数 0

转载 MySQL 加锁处理分析

1    背景    1 1.1    MVCC:Snapshot Read vs Current Read    2 1.2    Cluster Index:聚簇索引    3 1.3    2PL:Two-Phase Locking    3 1.4    Isolat...

2016-03-12 17:34:30

阅读数 196

评论数 0

转载 mysql死锁问题分析

线上某服务时不时报出如下异常(大约一天二十多次):“Deadlock found when trying to get lock;”。       Oh, My God! 是死锁问题。尽管报错不多,对性能目前看来也无太大影响,但还是需要解决,保不齐哪天成为性能瓶颈。      为了更系统的...

2016-03-12 17:23:25

阅读数 257

评论数 0

转载 MySQL · 引擎特性 · InnoDB 事务锁简介

InnoDB 事务锁系统简介 前言 本文的目的是对InnoDB的事务锁模块做个简单的介绍,使读者对这块有初步的认识。本文先介绍行级锁和表级锁的相关概念,再介绍其内部的一些实现;最后以两个有趣的案例结束本文。 本文所有的代码和示例都是基于当前最新的MySQL5.7.10版本。 ...

2016-03-12 16:51:00

阅读数 455

评论数 0

转载 隔离级别(Isolation Level)

SQL标准定义了4类隔离级别,包括了一些具体规则,用来限定事务内外的哪些改变是可见的,哪些是不可见的。低级别的隔离级一般支持更高的并发处理,并拥有更低的系统开销。 Read Uncommitted(读取未提交内容)        在该隔离级别,所有事务都可以看到其他未提交事务的执行结果。本隔离级...

2016-03-12 11:10:08

阅读数 384

评论数 0

转载 Spark编程指南V1.4.0(翻译)

Spark编程指南V1.4.0 ·        简介 ·        接入Spark ·        Spark初始化         ·        使用Shell         ·        在集群上部署代码 ·        弹性分布...

2016-03-11 17:07:44

阅读数 316

评论数 0

转载 RESTful API的安全性常用方法

保证RESTful API的安全性,主要包括三大方面:  a) 对客户端做身份认证  b) 对敏感的数据做加密,并且防止篡改  c) 身份认证之后的授权  对客户端做身份认证,有几种常见的做法:  在请求中加签名参数 1.为每个接入方分配一个密钥,并且规定一种签名的计算方法。要求接...

2016-03-02 12:06:48

阅读数 1918

评论数 0

转载 大型网站架构系列:分布式消息队列(一)

以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统)。 本次分享大纲 消息队列概述消息队列应用场景消息中间件示例JMS消息服务(见第二篇:大型网站架构系列:分布式消息队列(二))常用消息队列(见第二篇:大型网站架构系列:分布式消息队列(...

2016-02-26 16:00:25

阅读数 411

评论数 0

转载 大型分布式网站架构技术总结

本次分享大纲如下 大型网站的特点大型网站架构目标大型网站架构模式高性能架构高可用架构可伸缩架构可扩展架构安全架构敏捷架构大型架构举例  一、大型网站的特点 用户多,分布广泛大流量,高并发海量数据,服务高可用安全环境恶劣,易受网络攻击功能多,变更快,频繁发布从小到大,渐进发展以用户为中...

2016-02-26 14:41:49

阅读数 331

评论数 0

原创 添加ubuntu用户sudo权限

1.要添加新用户到sudo,最简单的方式就是使用 usermod 命令。运行 $sudo usermod -G admin username 这就你要作的,然而,如果用户已经是其他组的成员,你需要添加 -a 这个选项,象这样 $sudo usermod -a -G admin usernam...

2016-02-20 17:52:13

阅读数 483

评论数 0

原创 git使用基础教程

一、Git介绍 Git是一款目前最流行的分布式版本控制系统,同类型的主要有Mercurial、Bazaar、Darcs等等。客户端提取的不仅仅是最新版本的文件快照,而是拷贝整个仓库的镜像,所以每一次Clone操作实际上都是对代码仓库的完整备份。各节点之间都可以互相pull和push进行同步。Gi...

2016-02-20 17:10:20

阅读数 326

评论数 0

原创 ubuntu 安装trac

1.      安装trac $ sudo apt-get install trac 2.      初始化项目 $ sudo mkdir –p /var/trac/digcredit   #创建目录 $ cd /var/trac/digcredit $ sudo trac-admin ...

2016-02-20 17:04:10

阅读数 456

评论数 0

转载 Mysql在大型网站的应用架构演变

写在最前: 本文主要描述在网站的不同的并发访问量级下,Mysql架构的演变 可扩展性 架构的可扩展性往往和并发是息息相关,没有并发的增长,也就没有必要做高可扩展性的架构,这里对可扩展性进行简单介绍一下,常用的扩展手段有以下两种 Scale-up :  纵向扩展,通过替换为更好的机器和资源来实...

2016-02-20 10:41:18

阅读数 280

评论数 0

转载 Redis与Reactor模式

Redis与Reactor模式 Jan 9, 2016 最近看了Redis的设计与实现,这本书写的还不错,看完后对Redis的理解有很大的帮助。另外,作者整理了一份Redis源码注释,大家可以clone下来阅读。 Redis是开源的缓存数据库,由于其高性能而受到大家的欢迎。同时,...

2016-02-19 14:47:04

阅读数 315

评论数 0

转载 大型web系统数据缓存设计

1. 前言 在高访问量的web系统中,缓存几乎是离不开的;但是一个适当、高效的缓存方案设计却并不容易;所以接下来将讨论一下应用系统缓存的设计方面应该注意哪些东西,包括缓存的选型、常见缓存系统的特点和数据指标、缓存对象结构设计和失效策略以及缓存对象的压缩等等,以期让有需求的同学尤其是初学者能够快速...

2015-12-04 09:06:45

阅读数 365

评论数 0

转载 在Docker容器中实现安全与隔离

随着容器技术的发展,它的安全、隔离和资源控制的功能也在不断进步。本文中,我们将回顾Docker容器如何仅仅使用linux的原始功能来实现安全与隔离,比如namespaces, cgroups, capabilities等。 虚拟化和隔离 操作系统级的虚拟化、容器、空...

2015-11-20 12:06:09

阅读数 427

评论数 0

转载 mysql 数据插入优化方法

当一个线程对一个表执行一个DELAYED语句时,如果不存在这样的处理程序,一个处理器线程被创建以处理对于该表的所有DELAYED语句。 通常来说,在MyISAM里读写操作是串行的,但当对同一个表进行查询和插入操作时,为了降低锁竞争的频率,根据concurrent_insert的设置,...

2015-11-16 09:48:11

阅读数 216

评论数 0

转载 手机号运营商正则

#移动号段 1340-1348|135-139|147|150-152|1571-1572|1574|158-159|182|183|187|188 ^1(34[0-8]|(3[5-9]|47|5[0-2]|57[124]|5[89]|8[2378])\\d)\\d{7}$ ...

2015-11-11 19:22:51

阅读数 502

评论数 0

转载 python 根据类的字符串名实例化对象

方法一: class obj(object):        pass   a = eval('obj()') 方法二: 如果是经常需要这样可以 #将用来创建对象的字符串预编译成code对象. create_obj = compile('obj()...

2015-10-31 15:09:28

阅读数 7900

评论数 0

转载 缓存算法的 Python 实现

这篇文章描述了怎么用 Python 实现复杂度为 O(1) 的「最不常用」(Least Frequently Used, LFU)缓存回收算法。在 Ketan Shah、Anirban Mitra 和 Dhruv Matani的论文中有算法描述。实现中的命名是按照论文中的命名。 ...

2015-10-29 09:23:15

阅读数 620

评论数 0

转载 八大排序算法的 Python 实现

本文用Python实现了插入排序、希尔排序、冒泡排序、快速排序、直接选择排序、堆排序、归并排序、基数排序。 1、插入排序 描述 插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中,从而得到一个新的、个数加一的有序数据,算法适用于少量数据的排序,时间复杂度为O(n^2)。是稳定的排序...

2015-10-29 08:50:25

阅读数 293

评论数 0

转载 开源业务规则引擎JBoss Drools入门介绍

目 录 1 现状分析... 3 1.1 现状... 3 1.2 问题... 3 1.3 解决方案... 3 1.4 适用情景... 3 2 什么是规则引擎... 3 3 Drools简介... 4 4 竞争产品比较... 4 5 开发环境搭建....

2015-10-22 10:10:46

阅读数 576

评论数 0

转载 业务规则引擎开源软件介绍

1、规则引擎 Apache Camel  Apache Camel 是一个非常强大的基于规则的路由以及媒介引擎,该引擎提供了一个基于POJO的 企业应用模式(Enterprise Integration Patterns)的实现,你可以采用其异常强大且十分易用的API (可以说是一种Java的领...

2015-10-22 10:08:13

阅读数 919

评论数 0

转载 MongoDB基本操作命令

MongoDB基本命令用 成功启动MongoDB后,再打开一个命令行窗口输入mongo,就可以进行数据库的一些操作。 输入help可以看到基本操作命令: show dbs:显示数据库列表  show collections:显示当前数据库中的集合(类似关系数据库中的表)  ...

2015-10-21 10:58:49

阅读数 324

评论数 0

转载 django 操作mongoDB Mongoengine教程(5)——信号

MongoEngine在进行数据操作时会发出一些信号,我们可以连接这些信号进行一些额外的操作。注意:要在MongoEngine中使用信号,需要安装 blinker 这个库。 $ pip install blinker MongoEngine提供的信号如下: pre_init: ...

2015-10-16 16:46:29

阅读数 1049

评论数 0

提示
确定要删除当前文章?
取消 删除