2009年12月_telnetor

12月 10月 07月 06月 05月 04月 03月 02月 01月

原创远程拷贝命令――scp

1、文件拷贝$scp filename1.txt user@remotehost:/path/to/destination之后会提示输入user在remotehost上的密码，确认之后就开始拷贝。2、目录拷贝$scp -r directoryname user@remotehost:/path/to/destination同样需要输入密码，确认之后开始拷贝

2009-12-10 22:54:00 645

原创 4.Hadoop I/O

原稿发布在我另外一个博客http://hadoopforcloud.javaeye.com4. Hadoop I/O4.1. Data Integrity 数据完整性一般使用checksum检查数据的完整性，但是他仅能检查完整性，而不提供任何的修复办法，checksum的值也有出错的可能。 Hadoop采取了不同策略的checksum来克服以上的不足 4.1.1. Data Integrity

2009-12-10 22:21:00 1386

原创 3.The Hadoop Distributed File System

原稿发布在我另外一个博客：原稿发布在我另外一个博客http://hadoopforcloud.javaeye.com3. The Design of HDFS HDFS设计的针对对象：适合流式访问的超大文件、在使用便宜的硬件搭建的集群上运行。 HDFS不足：低延迟数据访问（Hbase是个好选择）、小文件多的时候出现问题（HDFS将文件Meta信息存储在内存中，内存限制了可以控制的文件数量）、对文

2009-12-10 22:17:00 947

原创 Nutch分布式检索配置

Nutch版本：0.7.2，也适用于1.01、同样Nutch程序分发在N台服务器上2、在一台服务器上部署tomcat，修改其中nutch-site.xml，将search.dir指向包含search-servers.txt的目录3、 search-servers.txt目录中存放运行nutch服务的服务器ip及其监听端口4、启动各个nutch server。server [port] /pa

2009-12-09 18:11:00 768 4

原创 linux下面tar gzip zip bzip使用指南

转自：http://www.ixdba.net/article/b2/515.htmltarlinux下面的归档工具。是对文件或者目录进行归档，归成一个文件，但并不压缩。语法格式tar [主选项+辅选项] 文件或者目录列表主选项-c 创建新的档案文件-r 把要归档的文件追加到档案文件的末尾IXDBA.NET技术社区-t 列出档案文件中已经归档的文件列表-u 更新文件，用新文件替代档案中原始文件

2009-12-02 16:00:00 719

原创 2.MapReduce

2. MapReduce 2.1. A Weather Dataset 一个天气数据集数据是NCDC的数据，我们关注以下特点： 1）数据是半格式化的 2）目录里面存放的是从1901-2001年一个世纪的记录，是gzip压缩过的文件。 3）以行为单位，使用ASCII格式存储，每行就是一条记录 4）每条记录我们关注一些基本的元素，比如温度，这些数据在每条数据中都会出现，并且宽度也

2009-12-01 23:11:00 1166

原创 1. Meet Hadoop

1. Meet Hadoop 1.1. Data 数据本节陈述了这样的事实：数据量越来越大，并且来源也越来越多，我们面临的问题是如何有效的存储和分析它们。 1.2. Data Storage and Analysis 数据存储和分析现在面临这这样的一个问题：当磁盘的存储量随着时间的推移越来越大的时候，对磁盘上的数据的读取速度却没有多大的增长。读取硬盘上的全部数据会花费比较长的时间，如果是写操

2009-12-01 23:10:00 721

C++ Boost Thread 编程指南

C++ Boost Thread 编程指南 pdf整理版

2009-09-10

MSXML6.0 SDK

安装之后文档在C:\Program Files\MSXML 6.0\Docs目录不想在此下载的可到如下地址下载： http://www.microsoft.com/downloads/details.aspx?FamilyID=993c0bcf-3bcf-4009-be21-27e85e1857b1&displaylang=en

2009-08-30