分布式
shenyan008
这个作者很懒,什么都没留下…
展开
-
SSH简介及配置使用SSH登陆远程主机
作者:房东雨 放飞技术小组 (2005-03-24 11:46:08) 1.什么是SSH传统的网络服务程序,如:ftp、POP和telnet在本质上都是不安全的,因为它们在网络上用明文传送口令和数据,别有用心的人非常容易就可以截获这些口令和数据。而且,这些服务程序的安全验证方式也是有其弱点的,就是很容易受到“中间人”(man-in-the-mid转载 2012-12-26 20:28:35 · 1044 阅读 · 0 评论 -
rsync应该如何应用
正如业界专家所分析和预测的趋势一样,Linux正在和微软与Unix争夺服务器市场份额,尽管Unix系统一直在做服务器方面有绝对的优势。 如今,已成三足鼎立之势,Linux逐渐发展成为第三大服务器操作系统,也成为微软在低端服务器市场的主要竞争者。其中的原因之一就是Linux的安全性能,另外一个就是费用问题了。如果需要执行自动备份操作或部署安全策略,无论是为一个单一的工作站还是为一个网络内的所转载 2012-12-26 18:42:34 · 733 阅读 · 0 评论 -
Hadoop 配置笔记
1. Hadoop默认的配置文件在:<!--@page {margin:2cm}p {margin-bottom:0.21cm}p {margin-bottom:0.21cm}-->conf/core-site.xml,conf/hdfs-site.xml 和 conf/mapred-site.xml2. 几个默认参数值:Hadoop默认的临时文件夹原创 2012-12-27 22:24:34 · 478 阅读 · 0 评论 -
从零开始一步步教你:用C++开发一个简单的hadoop分布式计算应用程序
从零开始一步步教你:用C++开发一个简单的hadoop分布式计算应用程序假设你有上百G的数据,你要统计出这些数据中,含有某些你感兴趣的内容的数据的有多少条,你会怎么做?在硬件条件允许的情况下,用hadoop并行计算是一个不错的选择。为了使本文得以清晰地说明,我们不妨假设如下的情况:我们有100G的数据,分别保存在5个文件中,它们位于 /data/ 目录下。这5个数据文件的内转载 2013-01-03 00:33:38 · 1172 阅读 · 0 评论 -
如何在Hadoop集群运行JNI程序
如何在Hadoop集群运行JNI程序hadoop是基于java的数据计算平台,引入第三方库,例如C语言实现的开发包将会大大增强数据分析的效率和能力。 阿里巴巴内部使用的分词软件(用c++实现的,以下简称WS包)是日常工作中最基本的软件包,通过java的jni机制,笔者将WS包成功的运行在hadoop上,深受很多部门的欢迎。下面借这个例子介绍hadoop上jni程序的开发过程。首先,简单介绍转载 2013-01-03 01:00:50 · 802 阅读 · 0 评论 -
研究云计算与大数据分析处理领域建议看的学术论文列表
研究云计算与大数据分析处理领域建议看的学术论文列表[1] Zhou AY. Data intensive computing-challenges of data management techniques. Communications of CCF, 2009,5(7):50.53 (in Chinese with English abstract).[2] Cohen J, Dola转载 2013-01-03 23:17:44 · 2364 阅读 · 0 评论 -
JobTracker任务调度器之JobQueueTaskScheduler
JobTracker任务调度器之JobQueueTaskScheduler本篇文章来源于 Linux公社网站(www.linuxidc.com) 原文链接:http://www.linuxidc.com/Linux/2012-01/50857.htm 在客户端把作业提交给JobTracker之后,JobTracker就需要开始考虑把这个Job交给那些TaskTracker来执行转载 2013-01-05 19:06:35 · 584 阅读 · 0 评论 -
Hadoop Job Tuning
Hadoop Job TuningHadoop平台已经成为了大多数公司的分布式数据处理平台,随着数据规模的越来越大,对集群的压力也越来越大,集群的每个节点负担自然就会加重,而且集群内部的网络带宽有限,数据交换吞吐量也在面临考验,由此引发了人们对大规模数据处理进行优化的思考。本文仅从实践经验出发,针对Hadoop Job优化提出了一些观点,不包含HDFS的优化。Job Tracker转载 2013-01-05 14:12:45 · 488 阅读 · 0 评论 -
Hadoop TaskScheduler浅析
Hadoop TaskScheduler浅析TaskScheduler,顾名思义,就是MapReduce中的任务调度器。在MapReduce中,JobTracker接收JobClient提交的Job,将它们按InputFormat的划分以及其他相关配置,生成若干个Map和Reduce任务。然后,当一个TaskTracker通过心跳告知JobTracker自己还有空闲的任务Slot时,Job转载 2013-01-05 19:03:30 · 589 阅读 · 0 评论 -
Uncovering mysteries of InputFormat: Providing better control for your Map Reduce execution
Uncovering mysteries of InputFormat: Providing better control for your Map Reduce execution.Posted byBoris Lublinsky, Mike SegelonNov 04, 2011As more companies adopt Hadoop, there is a greater var转载 2013-01-05 00:11:15 · 712 阅读 · 0 评论 -
Hadoop Rack Aware 机架感知
副本存放: 最最开始的一步 副本的存放是HDFS可靠性和性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优,并需要经验的积累。HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。目前实现的副本存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生产环境下的有效性,观察它的行转载 2012-12-10 12:33:19 · 1148 阅读 · 0 评论 -
RabbitMQ 工具
1.启动rabbitmq服务器./rabbitmq-server./rabbitmq-server-detached后台启动2. rabbitmqctl 工具<!--@page {margin:2cm}p {margin-bottom:0.21cm}-->./rabbitmqctl stop 关闭rabbitmq程序原创 2012-10-03 22:35:30 · 1834 阅读 · 0 评论 -
Quickly move an executable between systems with ELF Statifier
Quickly move an executable between systems with ELF Statifier摘自:http://archive09.linux.com/feature/150677By Ben MartinonOctober 23, 2008 (9:00:00 AM)Shared libraries that are dynamically转载 2012-11-09 19:36:34 · 719 阅读 · 0 评论 -
Distributed Caching with Memcached
from: http://www.linuxjournal.com/article/7451Aug 01, 2004 By Brad Fitzpatrick inSoftwareCut the load on your Web site's database by adding a scalable object caching layer to your a转载 2012-07-02 22:16:22 · 1274 阅读 · 0 评论 -
Distributed Hash Tables
from: Oct 01, 2003 By Brandon Wiley inSoftwareDistributed hash tables are an essential component of robust peer-to-peer networks. Learn to write applications that let everyone's cop转载 2012-07-05 22:31:54 · 921 阅读 · 0 评论 -
Distributed Systems Topologies
Distributed Systems Topologies: Part 1from: http://openp2p.com/pub/a/p2p/2001/12/14/topologies_one.htmlby Nelson Minar12/14/2001The peer-to-peer explosion has reminded people of the power of转载 2012-07-02 22:18:40 · 1131 阅读 · 0 评论 -
TFS 简介
简介TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。同转载 2012-07-25 00:05:57 · 948 阅读 · 0 评论 -
Hadoop Distributed FileSystem (HDFS) Architectural Documentation - Overview
Hadoop Distributed FileSystem (HDFS) Architectural Documentation - Overview全文地址:http://kazman.shidler.hawaii.edu/ArchDoc.html 3 Overview of the HDFS ArchitectureThissection provides a q转载 2012-07-25 20:50:29 · 901 阅读 · 0 评论 -
RabbitMQ Turorial
IntroductionWhere to get helpIf you're having trouble going through this tutorial you cancontact us through the discussion list or directly.RabbitMQ is a message broker. The principal idea i转载 2012-07-26 19:52:55 · 1450 阅读 · 0 评论 -
rabbitmq 安装配置
系统:Fedora 161. 安装 erlang2. 安装 simplejson上面的软件包可以从源安装;3. 安装 rabbitmq-server 2.8.5,从官网下载,然后从源码编译,可以按照这里的方法来编译。 从源安装的版本会出现错误,包含如下信息:Crash dump was written to: erl_crash.dump4. 下载rabbitmq-原创 2012-09-07 20:41:02 · 1337 阅读 · 0 评论 -
介绍 JSON
摘自:http://www.json.org/json-zh.htmlJSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScript Programming Language,Standard ECMA-262 3rd Edition - December 1999的一个子集。JSON转载 2012-10-04 01:18:28 · 537 阅读 · 0 评论 -
RabbitMQ 问题 记录
1. 如何确定一个队列是否为空?http://rabbitmq.1065348.n5.nabble.com/check-if-queue-is-empty-td2129.html1)status = channel.queue_declare(queue=msgqueue)if status.method.message_count == 0: p原创 2012-10-08 03:01:01 · 1060 阅读 · 0 评论 -
PVM (Parallel Virtual Machine)
并行虚拟机 http://www.csm.ornl.gov/pvm/原创 2013-01-21 00:51:43 · 1206 阅读 · 0 评论