- 博客(15)
- 资源 (21)
- 收藏
- 关注
RSS订阅转载 Kafka 与RocketMQ 可靠性比较
Kafka vs RocketMQ——单机系统可靠性发表于 2016-04-28 | 作者 以夕 | 分类于 消息中间件 | 3条评论引言前几期的评测中，我们对比了Kafka和RocketMQ的吞吐量和稳定性，本期我们要引入一个新的评测标准——软件可靠性。何为“可靠性”？先看下面这种情况：有A，B两辆越野汽车，在城市的周边
2016-07-28 11:29:33
13402
原创 Storm nimbus 单节点宕机的处理
一、storm nimbus 单节点问题概述1、storm集群在生产环境部署之后，通常会是如下的结构： 从图中可以看出zookeeper和supervisor都是多节点，任意1个zookeeper节点宕机或supervisor节点宕机均不会对系统整体运行造成影响，但 nimbus和ui都是单节点 。ui的单节点对系统的稳定运行没有影响，仅提供storm-ui页面展示统计信息。但ni
2016-07-27 21:15:35
7372
1
原创 Redis 安装
Redis简介： Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set
2016-07-27 17:15:17
418
原创 Redis 使用场景-电商
各种计数，商品维度计数和用户维度计数说起电商，肯定离不开商品，而附带商品有各种计数（喜欢数，评论数，鉴定数，浏览数,etc），Redis的命令都是原子性的，你可以轻松地利用INCR，DECR等命令来计数。商品维度计数（喜欢数，评论数，鉴定数，浏览数,etc）采用Redis 的类型: Hash. 如果你对redis数据类型不太熟悉，可以参考 http://redis.io/topics/data-t
2016-07-27 17:06:05
700
转载 Flume+Hadoop+Hive的离线分析系统基本架构
离线分析系统的结构图 整个离线分析的总体架构就是使用Flume从FTP服务器上采集日志文件，并存储在Hadoop HDFS文件系统上，再接着用Hadoop的mapreduce清洗日志文件，最后使用HIVE构建数据仓库做离线分析。任务的调度使用Shell脚本完成，当然大家也可以尝试一些自动化的任务调度工具，比如说AZKABAN或者OOZIE等。 分析
2016-07-27 11:13:14
1053
转载 Flume+Kafka+Storm+Redis实时分析系统基本架构
天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一 个简单的入门级架构，实际生产环境中的大数据实时分析技术还涉及到很多细节的处理, 比如使用Storm的ACK机制保证数据都能被正确处理, 集群的高可用架构, 消费数据时如何处理重复数据或者丢失数据等问题，根据不同的业务场景，对数据的可靠性要求以及系统的复杂
2016-07-27 10:58:48
4658
1
原创 linux 添加用户到组
新增加一个用户并将其列入一个已有的用户组中需要用到 useradd 命令。如果还没有这个用户组，可以先创建该用户组。useradd -G {group-name} username例如，我们要创建一个新用户 cnzhx 并将其添加到用户组 developers 中。首先需要以 root 用户身份登录到系统中。先确认一下是否存在 developers 这个用户组，在命令行输入：grep develo
2016-07-27 10:27:44
3446
原创 SSH免密码登录
环境： CentOS 7修改 /etc/ssh/sshd_configvi /etc/ssh/shd_config设置RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys让master访问slave1，slave2 在master上生成公钥ssh-keygen -t
2016-07-26 23:29:41
446
原创 Java 访问 HDFS操作
Java 可以通过API访问HDFS, 主要用到几个类下面是代码package com.shidai.hadoop.hdfs01;import java.io.File;import java.io.IOException;import java.net.URI;import java.text.ParseException;import java.text.SimpleDat
2016-07-26 23:25:57
2827
原创 Mapreduce WordCount实例
用的版本是hadoop.1.2.11.在Eclipes上新建一个工程，新建一个类WordCount下面是具体的代码package com.heima.hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;impo
2016-07-26 23:18:12
1108
原创 eclipse 安装svn插件
下载SVN插件subclipse，安装方法有两种.那种绿色的以link方式安装的方式我在indogo上试了多次就是没成功。 SVN插件下载地址及更新地址，你根据需要选择你需要的版本。现在最新是1.8.x 通过插件包安装Links for 1.8.x Release: Eclipse update site URL: http://subclipse.tigris.org/update_1
2016-07-25 21:46:04
417
原创 SVN 服务器搭建
1.安装subversion $ yum install -y subversion2.创建仓库 $ svnadmin create /var/svn/repo03.配置仓库anon-access = none进入repo0目录下的conf文件夹 打开svnserve.conf，进行设置 设置如下属性，配置文件的每一行靠左，不能有空格anon-access = none #匿名用户没有
2016-07-23 13:03:32
428
原创 Mapreduce wordCount
Mapreduce wordCount例子package com.heima.hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org
2016-07-09 11:23:27
526
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人