阿里技术分享:深度揭秘阿里数据库技术方案的10年变迁史

本文原题“阿里数据库十年变迁,那些你不知道的二三事”,来自阿里巴巴官方技术公号的分享。 1、引言 第十个双11即将来临之际,阿里技术推出《十年牧码记》系列,邀请参与历年双11备战的核心技术大牛,一起回顾阿里技术的变迁。 今天,阿里数据库事业部研究员张瑞,将为你讲述双11数据库技术不为人知...

2018-11-24 15:56:18

阅读数 111

评论数 0

MySQL MVCC原理

1 MVCC基本原理 MVCC:多版本并发控制(MVCC,Multiversion Currency Control)。一般情况下,事务性储存引擎不是只使用表锁,行加锁的处理数据,而是结合了MVCC机制,以处理更多的并发问题。Mvcc处理高并发能力最强, 但系统开销 比最大(较表锁、行级锁)...

2018-08-10 11:43:09

阅读数 75

评论数 0

关于安装pyhanlp失败

由于要使用hanlp进行分词,而我们的环境是python环境所以得安装pyhanlp,但是安装过程总是出现这样的问题看上去感觉是缺少了visual c++环境,于是安装visual c++,可查看这个博客http://www.hankcs.com/nlp/python-calls-hanlp.ht...

2018-07-09 15:36:28

阅读数 1912

评论数 1

Etcd架构与实现解析

前一段时间的项目里用到了 Etcd(http://jolestar.com/etcd-architecture), 所以研究了一下它的源码以及实现。网上关于 Etcd 的使用介绍的文章不少,但分析具体架构实现的文章不多,同时 Etcd v3的文档也非常稀缺。本文通过...

2018-05-05 23:47:46

阅读数 85

评论数 0

下一代微服务架构——Service Mesh

Service Mesh 是什么?为什么我们需要它?Service Mesh(服务网格)是一个基础设施层,让服务之间的通信更安全、快速和可靠。如果你在构建云原生应用,那么就需要 Service Mesh。在过去的一年中,Service Mesh 已经成为云原生技术栈...

2018-05-05 23:43:34

阅读数 85

评论数 0

ETCD 简介 + 使用

随着CoreOS和Kubernetes等项目在开源社区日益火热,它们项目中都用到的etcd组件作为一个高可用、强一致性的服务发现存储仓库,渐渐为开发人员所关注。在云计算时代,如何让服务快速透明地接入到计算集群中,如何让共享配置信息快速被集群中的所有机器发现,更为重要的是,如何构建这样一套高可用、安...

2018-05-05 23:19:16

阅读数 378

评论数 0

java8新特性——Stream接口

1、什么是Stream?    a、Stream在java8中被定义为泛型接口    b、Stream接口代表数据流    c、Stream不是一个数据结构,不直接存储数据    d、Stream通过管道操作数据    e、创建Stream接口实现类对象:        stream(): 创建一...

2018-04-12 20:15:12

阅读数 278

评论数 0

java8新特性——lambda

1、lambda概述    lambda表示数学符号“λ”,计算机领域中λ代表“λ演算”,表达了计算机中最基本的概念:“调用”和“置换”。2、为什么使用lambda        一、Java是面向对象的语言,不能像函数式语言那样嵌套定义方法。        二、Java的匿名内部类只能存在于创建...

2018-04-12 19:56:42

阅读数 51

评论数 0

Flume(NG)架构设计要点及配置实践

Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。经过架构重构后,Flume NG更像是一个轻量的...

2018-01-25 19:35:57

阅读数 73

评论数 0

Flume中的HDFS Sink配置

Flume中的HDFS Sink配置参数说明 type:hdfs path:hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/ filePrefix:默认值:FlumeData,写入hdfs的文件名前缀 fi...

2018-01-25 15:11:08

阅读数 2247

评论数 0

Flume安装及简单部署

1 Flume简介 Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据,同时Flume提供对数据的简单处理,并将数据处理结果写入各种数据接收方的能力。 Flume作为Cloudera开发...

2018-01-24 18:45:47

阅读数 95

评论数 0

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下,在Win7系统Intellij开发工具中调试Spark读取Hbase。运行直接报错: 1 2 3 4 5 6 7 8 9 10 11 12 ...

2018-01-02 18:19:26

阅读数 124

评论数 0

从kinit到kerberos安全机制

最近老在项目的shell脚本中看到kinit这个东西,完整的命令是 kinit -k -t ./conf/kerberos.keytab sherlocky/admin@EXAMPLE.COM 查阅一番资料后了解到,之所以有这个命令,是由于该shell脚本接下来会访问Hadoop集群,从上面拉取文...

2017-12-27 16:07:29

阅读数 4823

评论数 0

hdfs 文件的追加

1、修改hdfs-site.xml           Java代码      lt;name>dfs.support.append   true   operty>   2、目前如何在命令行里面给HDFS文件中追加内容我还没找到相应的方法...

2017-12-26 16:02:01

阅读数 1139

评论数 0

Maven生成可以直接运行的jar包的多种方式

Maven可以使用mvn package指令对项目进行打包,如果使用java -jar xxx.jar执行运行jar文件,会出现"no main manifest attribute, in xxx.jar"(没有设置Main-Class)、ClassNotFoundExcep...

2017-12-26 11:16:37

阅读数 170

评论数 0

Mongodb数据更新命令(update、save)

Mongodb更新有两个命令:update、save。 1.1update命令 update命令格式: db.collection.update(criteria,objNew,upsert,multi) 参数说明: criteria:查询条件 objNew:u...

2017-10-25 11:22:23

阅读数 26905

评论数 0

获取通过body传输的postdata数据

目前基于rest风格的很多API开始使用通过body data来传输来代替之前的key-value传输方式。在java servlet或者springmvc中可以通过如下代码来获取并图片通过流方式传输的数据:   1 InputStream is= nul...

2017-10-17 17:40:17

阅读数 222

评论数 0

BeanUtils.copyProperties()用法

前言:今天看别人写的代码,在action里面看到有人用了BeanUtils.copyProperties(obj, objForm); 感觉很奇怪于是就点击进去看了一下源码 public static void copyProperties(Object source, Object ta...

2017-09-04 15:52:45

阅读数 240

评论数 0

java公平锁源码解读

基本概念 本章,我们会讲解“线程获取公平锁”的原理;在讲解之前,需要了解几个基本概念。后面的内容,都是基于这些概念的;这些概念可能比较枯燥,但从这些概念中,能窥见“Java锁”的一些架构,这对我们了解锁是有帮助的。  1. AQS – 指AbstractQueuedSynchronizer...

2017-09-03 20:40:31

阅读数 278

评论数 0

简洁例子了解CAS

前言 CAS,Compare and Swap即比较并替换,设计并发算法时常用到的一种技术,Doug lea大神在java同步器中大量使用了CAS技术,鬼斧神工的实现了多线程执行的安全性。 目前的处理器基本都支持CAS,只不过不同的厂家的实现不一样罢了。CAS有三个操作数:内存值V、旧的预期值...

2017-08-30 14:27:07

阅读数 145

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭