行人事,知天命

用十年做好一件事

Kafka 可靠性思考

Kafka可靠性思考

2016-07-28 12:09:31

阅读数 1000

评论数 0

Kafka 与RocketMQ 可靠性比较

Kafka vs RocketMQ——单机系统可靠性 发表于 2016-04-28   |   作者   以夕     |   分类于 消息中间件   |   3条评论 引言 前几期的评测中,我们对比了Kafka和RocketMQ的吞吐量和稳定性,本期我们要引入一个新的评测标准——软件可...

2016-07-28 11:29:33

阅读数 10760

评论数 0

Storm nimbus 单节点宕机的处理

一、storm nimbus 单节点问题概述 1、storm集群在生产环境部署之后,通常会是如下的结构:  从图中可以看出zookeeper和supervisor都是多节点,任意1个zookeeper节点宕机或supervisor节点宕机均不会对系统整体运行造成影响,但 nimbus和...

2016-07-27 21:15:35

阅读数 4808

评论数 1

Redis 安装

Redis简介: Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。 redis是一个key-value存储系统。和Memc...

2016-07-27 17:15:17

阅读数 303

评论数 0

Redis 使用场景-电商

各种计数,商品维度计数和用户维度计数 说起电商,肯定离不开商品,而附带商品有各种计数(喜欢数,评论数,鉴定数,浏览数,etc),Redis的命令都是原子性的,你可以轻松地利用INCR,DECR等命令来计数。商品维度计数(喜欢数,评论数,鉴定数,浏览数,etc)采用Redis 的类型: Hash. ...

2016-07-27 17:06:05

阅读数 488

评论数 0

Flume+Hadoop+Hive的离线分析系统基本架构

离线分析系统的结构图             整个离线分析的总体架构就是使用Flume从FTP服务器上采集日志文件,并存储在Hadoop HDFS文件系统上,再接着用Hadoop的mapreduce清洗日志文件,最后使用HIVE构建数据仓库做离线分析。任务的调度使用Shell脚本完成,当然大家...

2016-07-27 11:13:14

阅读数 853

评论数 0

Flume+Kafka+Storm+Redis实时分析系统基本架构

天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一 个简单的入门级架构,实际生产环境中的大数据实时分析技术还涉及到很多细节的处理, 比如使用Storm的ACK机制保证数据都能被正确处理, 集群的高可用架构...

2016-07-27 10:58:48

阅读数 4324

评论数 1

Flume+Spark+Hive+Spark SQL离线分析系统

Flume+Spark+Hive+Spark SQL离线分析系统

2016-07-27 10:46:23

阅读数 5304

评论数 0

linux 添加用户到组

新增加一个用户并将其列入一个已有的用户组中需要用到 useradd 命令。如果还没有这个用户组,可以先创建该用户组。useradd -G {group-name} username例如,我们要创建一个新用户 cnzhx 并将其添加到用户组 developers 中。首先需要以 root 用户身份登...

2016-07-27 10:27:44

阅读数 1762

评论数 0

SSH免密码登录

环境: CentOS 7 修改 /etc/ssh/sshd_config vi /etc/ssh/shd_config 设置RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys...

2016-07-26 23:29:41

阅读数 275

评论数 0

Java 访问 HDFS操作

Java 可以通过API访问HDFS, 主要用到几个类 下面是代码 package com.shidai.hadoop.hdfs01; import java.io.File; import java.io.IOException; import java.net.URI; import j...

2016-07-26 23:25:57

阅读数 1632

评论数 0

Mapreduce WordCount实例

用的版本是hadoop.1.2.1 1.在Eclipes上新建一个工程,新建一个类WordCount 下面是具体的代码 package com.heima.hadoop; import java.io.IOException; import java.util.StringTokenizer; i...

2016-07-26 23:18:12

阅读数 920

评论数 0

eclipse 安装svn插件

下载SVN插件subclipse,安装方法有两种.那种绿色的以link方式安装的方式我在indogo上试了多次就是没成功。 SVN插件下载地址及更新地址,你根据需要选择你需要的版本。现在最新是1.8.x 通过插件包安装Links for 1.8.x Release: Eclipse u...

2016-07-25 21:46:04

阅读数 326

评论数 0

SVN 服务器搭建

1.安装subversion $ yum install -y subversion2.创建仓库 $ svnadmin create /var/svn/repo03.配置仓库anon-access = none进入repo0目录下的conf文件夹 打开svnserve.conf,进行设置...

2016-07-23 13:03:32

阅读数 299

评论数 0

Mapreduce wordCount

Mapreduce wordCount例子 package com.heima.hadoop; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configura...

2016-07-09 11:23:27

阅读数 389

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭