分布式系统
文章平均质量分 53
guoqiangma
这个作者很懒,什么都没留下…
展开
-
zeromq jzmq安装 安装插件,缺少库 configure: error: cannot link with -luuid, install uuid-dev)
Storm的通信库使用ZeroMQ,以及JZMQ(Java API),需要安装这两个包:1)ZeroMQ:wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gztar -xzf zeromq-2.1.7.tar.gzcd zeromq-2.1.7./configuremakesudo make ins原创 2012-01-10 11:46:06 · 3337 阅读 · 0 评论 -
分布式知识的总结
转载 http://www.longtask.com/blog/?p=7611:分布式理论CAP(Eric Brewer) Web服务无法同时满足以下3个属性Consistency(一致性),数据一致更新,所有数据变动都是同步的Availability(可用性),每个操作都必须以可预期的响应结束Partition tolerance(分区容转载 2012-09-20 23:39:49 · 769 阅读 · 0 评论 -
clojure入门: hello world
转载 http://xumingming.sinaapp.com/283/clojure-hello-world/clojure入门: hello world发表于 2011 年 12 月 01 日 由xumingming作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingmi翻译 2012-09-19 16:20:23 · 1045 阅读 · 0 评论 -
Clojure入门教程: Clojure – Functional Programming for the JVM中文版
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/302/clojure-functional-programming-for-the-jvm-clojure-tutorial/本文翻译自:Clojure – Functional Programming f转载 2012-09-19 11:47:52 · 3682 阅读 · 0 评论 -
Hadoop在MapReduce中使用压缩详解
hadoop对于压缩文件的支持hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的,hadoop能够自动为我们 将压缩的文件解压,而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名(比如lzo,gz,bzip2等),hadoop就会根据扩展名去选择解码器解压。hadoop对每个压缩格式的支持,详细见下表: 压缩格式转载 2012-09-18 20:50:53 · 746 阅读 · 0 评论 -
hadoop java HDFS 读写操作
用java的API操作HDFS的文件系统。那篇文章单独介绍了每个api的使用,为了以后方便使用,写成了一个类,分享给大家。文件操作类:比较简单,大家也可以自己完善。package storm.hadoop;import java.io.IOException;import java.net.URI;import java.util.ArrayList;import java.ut原创 2012-09-17 18:29:21 · 1655 阅读 · 0 评论 -
linux搭建hadoop环境
1、安装JDK (1)下载安装JDK:确保计算机联网之后命令行输入下面命令安装JDK sudo apt-get install sun-java6-jdk (2)配置计算机Java环境:打开/etc/profile,在文件最后输入下面内容 export JAVA_HOME = (Java安装目录) export CLASSPATH = "转载 2012-09-12 20:55:11 · 619 阅读 · 0 评论 -
zeromq jzmq 运行时错误
error while loading shared libraries: libzmq.so.1: cannot open shared object file: No such file or directory解决方法:1. 这时候就该搬书了,查一查看一看。有很多博文也讲了LD_LIBRARY_PATH=../lib就行,可是几经周折才发现原来光这样不行还得export exp原创 2012-09-03 10:30:17 · 609 阅读 · 0 评论 -
twitter storm 配置项6.0
配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写)storm.cluster.modeStorm集群运行模式([distribut原创 2012-07-31 10:50:21 · 1183 阅读 · 0 评论 -
转载:zeroMQ/jzmq 安装
最近研究zeromq,发现一个很好的blog,对zeromq有很好的讲解http://blog.csdn.net/larrylgq/article/details/7514622 记录如下,督促自己学习,积累sudo apt-get install autoconf automake libtool gcc gcc- g++ make libuuid-dev/uui转载 2012-07-20 14:31:55 · 6418 阅读 · 0 评论 -
转载:java出现no XXX in java.library.path的解决办法及eclipse配置
http://blog.csdn.net/larrylgq/article/details/7515362java一般使用两个path:classpath 和 java.library.pathclasspath是指向jar包的位置java.library.path是非java类包的位置如(dll,so)解决办法:1:LINUX下的系统变量LD_LIBRAR转载 2012-07-20 14:32:54 · 2926 阅读 · 0 评论 -
redis 学习资源,源代码分析
redis的使用篇redis搭建环境+简单使用http://www.cnblogs.com/redcreen/tag/redis/一.redis 环境搭建二.redis 数据类型三.redis 排序四.redis 事务五.redis pipeline六.redis 发布订阅七.redis 持久化八.redis 主从复制九.redis学习笔记之原创 2012-03-08 14:40:06 · 1582 阅读 · 0 评论 -
用rsync进行两机备份的shell脚本(更新)
转自:http://sillydong.com/myserver/new-shell-for-rsync.html上回贴出了用rsync进行两机备份的shell脚本一文,那个脚本当中有BUG,现在做一个更新,测试完全可用,贴出来,看了旧版脚本的朋友别忘了更新一下,脚本如下:#!/bin/bash# This script is used to do backup an转载 2012-03-29 14:28:38 · 509 阅读 · 0 评论 -
shell脚本实现每秒执行一次任务 rsync命令使用
目的:编写脚本没秒钟同步一个log数据1.编写shell脚本vi /tmp/ceshi.sh#!/bin/shwhile [ true ]; dosrync -avzP src dest/bin/sleep 1/bin/date >>/tmp/date.txtdone2.后台运行nohup /tmp/ceshi.sh 2>&1 >原创 2012-03-29 14:24:25 · 4612 阅读 · 0 评论 -
storm 进程自动关闭 fail-fast 使用daemontools 进行管理
在Linux系统上运行服务(或daemons)的典型方法是使用initscripts,它是壳脚本的优化版,能够开始和停止服务。虽然这种方法对大部分来说都是适用的,但是高效的有效性却正在丢失。如果服务自己停止了,它就会无效了。另外一种运行服务的方法是使用D.J.Bernstein的Daemontools软件包。它运行一个叫做监督的Daemon,它能够监督它能启动的所有服务。如果一个服务停止了原创 2012-02-01 19:01:08 · 1516 阅读 · 0 评论 -
Twitter strom 集群搭建
Maven安装配置 1.安装首先在本地电脑上安装Maven,从maven的官网下载http://maven.apache.org/2.到本地解压,然后使用配置的相应目录/apache-maven-3.0.3/conf/ 下的settings.xml文件,settings.xml文件包含有与系统环境相关的配置细节,例如代理配置,远程仓库,localRepository,服务器的认证信原创 2012-01-20 17:59:40 · 7138 阅读 · 1 评论 -
cluster SSH 配置与使用
Cluster SSH 是一个可以用来通过SSH协议同时管理多台远程计算机的工具,它打开了多个终端窗口和一个管理控制台,管理员在管理控制台上输入的命令都会同步执行到多台远程计算机上。该工具非常适合用来快速配置一个集群中的所有运行相同服务和具备相同配置的计算机节点。在命令行中输入cssh ,如果找不到命令会提示apt-get ,照着系统的提示做就可以了只需要配置一下相应的cssh.rc文原创 2012-01-20 15:31:11 · 2506 阅读 · 0 评论 -
Maven的使用
Maven是基于项目对象模型(POM),可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具. 如果你已经有十次输入同样的Ant targets来编译你的代码、jar或者war、生成javadocs,你一定会自问,是否有一个重复性更少却能同样完成该工作的方法。Maven便提供了这样一种选择,将你的注意力从作业层转移到项目管理层。Maven项目已经能够知道如何构建和捆绑代码原创 2012-01-20 15:04:51 · 874 阅读 · 0 评论 -
淘宝技术发展
【转】淘宝技术发展来源:http://blog.sina.com.cn/s/blog_633219970100x9cc.html 目录 一、引言 二、个人网站 三、Oracle/支付宝/旺旺 四、淘宝技术发展(Java时代:脱胎换骨) 五、淘宝技术发展(Java时代:坚若磐石) 六、淘宝技术转载 2012-09-21 00:00:48 · 4477 阅读 · 0 评论