- 博客(7)
- 资源 (3)
- 收藏
- 关注
原创 消息中间件Rabbitmq(二)-使用详解
Rabbitmq 是基于amqp(高级消息队列协议)实现的队列技术,在他之上可以完成多种类型的消息转发模型。 下面列举一些常用的消息转发场景,在rabbitmq中是怎样实现的。1.原理先来看一下rabbitmq消息转发的原理,便于理解消息转发以及怎样实现常见的消息转发模型。 1.1生产者1.生产者创建连接,并创建通道连接rabbitmq 2.使用routing key绑定ex...
2018-02-27 15:05:38 3214
原创 消息中间件rabbitmq(一)-基本介绍和部署
Rabbitmq是常用的消息中间件之一,其它常见的消息中间件如activemq、kafka、zeromq,各个消息中间件各有各自的适合用的场景。 这里我们说下Rabbitmq,rabbitmq是基于AMQP(Advanced Message Queuing Protocol)协议使用erlang开发的消息中间件。amqp具有更加灵活的消息转发功能,同时erlang又是专门针对于线程安全和分布式开...
2018-02-26 15:13:44 2544
原创 部署gitlab
一直使用的gogs,但是发现很多人还是用gitlab,而且gitlab功能比较强大。 部署采用docker部署,省去不少部署中出现的麻烦。 镜像使用官方上传的社区版本。 https://hub.docker.com/r/gitlab/gitlab-ce/安装docker环境熟练使用docker,且安装过docker运行环境的跳过。 安装docker运行环境,我的博客里面有一条命...
2018-02-24 18:22:05 1934
原创 记一次阿里面试——第一面,电话面试
先说下笔者的情况,当前时间2018年2月11日,笔者工作5年半,坐标苏州,热爱研究技术,一直很向往阿里,但因为在苏州,一直没有迈出去杭州的第一步,这次阿里的一个面试机会经过和家人商榷后,家人同意我去杭州(虽然这话说得有点早),认真准备了几天,今天接到了电话面试,异常激动,废话不多说,下面是面试过程,电话面试持续了半个小时。1.简单介绍下自己 介绍了自己的工作年限,工作经历和大概项目经历。 ...
2018-02-11 16:27:36 15222 2
原创 hive的orc格式详解
ORC(The Optimized Row Columnar),被设计用来给hive提供更高效的数据存储格式。和其它数据格式相比(parquest、text、rc),orc在读、写、处理数据上有着更优的表现。ORC是一种文件结构,排列组织存储数据的一种结构,而非一种数据压缩格式,就像hbase索引数据用B+树形式来存储数据。orc是列式存储结构,(关系型数据库大多用的是行式存储),由于列式
2018-02-03 11:32:03 12054
原创 hive对接hbase(二)-hive中操作hbase
hbase的查询比较简单,总得来看就是只有rowkey的定位。 在hbase的查询中可以使用scan来定位rowkey,使用filter来定位具体要查询的某个字段。在hive对接hbase后,就可以使用sql对hbase进行操作,那在hive中又能对hbase做哪些操作呢,哪些操作是在hbase中进行,哪些是在hive中进行。如果不清楚这些问题,在实际的使用过程当中,我们就没办法对查询效率以
2018-02-01 20:57:03 3143
原创 hbase(十)-hbase查询,scan filter的使用
1.ScanHBase常用的查看数据方式有scan和get,get是一种特殊的scan,get是scan的startrow和endrow等于同一个值的特殊情况。hbase的rowkey是按照B+树的形式存放的,所以查找一个具体的rowkey速度是非常快的,所以查询数据的时候一般都会设置scan的startrow和endrow,这样可以缩小查找的范围,所以rowkey的设计在hbase里面是
2018-02-01 20:23:55 15000
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人