Hadoop
文章平均质量分 69
xuqianghit
互联网门外汉
展开
-
Google Map Reduce简介[翻译学习]
1. 并行计算简介2. What is MapReduce?3. MapReduce是如何运行的?.并行计算简介 计算机的早期阶段,程序都是serial(连续的),类似于批处理程序。并行计算的程序中,进程将一个任务分割成多个部分parts,每个“部分“都是能够并行处理的,每个“部分”可以同时运行在不同的cpu上,这些cpus可以是同一台机器上,也可以是通过网络运原创 2011-06-06 14:45:00 · 640 阅读 · 0 评论 -
hadoop客户端效率问题
分享一个关于hdfs写入流程文档:http://wenku.baidu.com/view/a909278102d276a200292e3f.html 今天主要的话遇到了这样的一个问题: 集群中的配置环境是一台datanode和一台namenode,这时如果在datanode上运行hdfs的客户端上传一个2g的文件 和在namenode上运行同样的程序 个人觉得应原创 2012-01-05 09:27:38 · 2016 阅读 · 1 评论 -
GFS一些问题总结
1. 数据写入流程gfs论文中给定的流程如下:1. The client asks the master which chunkserver holdsthe current lease for the chunkan d the locations ofthe other replicas. If no one has a lease, the mastergrants one to a原创 2011-12-06 19:20:58 · 2592 阅读 · 0 评论 -
分享一个boost.mapreduce代码
http://download.csdn.net/detail/xuqianghit/3815838原创 2011-11-19 21:39:06 · 1696 阅读 · 1 评论 -
使用hadoop进行大规模数据的全局排序
1. Hellow hadoop~~!Hadoop(某人儿子的一只虚拟大象的名字)是一个复杂到极致,又简单到极致的东西。说它复杂,是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成,你运行的每一个任务都要在这些计算机上做任务的分发转载 2011-09-16 09:40:12 · 845 阅读 · 0 评论 -
Hadoop常见问题及解决方法
1. This script is Deprecated2. no namenode to stop错误于2011-6-5上午,最后更新... 1. This script is Deprecated. Instead use start-dfs.sh and start-mapred.sh starting namenode, logging to /home/xuqiang/hadoop/sr原创 2011-07-02 13:17:06 · 755 阅读 · 0 评论 -
通过shell命令来控制hdfs
1. hadoop文件系统权限简介2.命令简介 3. 参考资料 . hadoop文件系统权限简介 hadoop文件系统实现的文件权限模型和posix模型极其类似。每个文件和目录和一个owner和group相关联。可以使用下面的命令来查看/tmp/目录下的所有文件及其权限:xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop fs -ls /原创 2011-07-02 13:16:15 · 1762 阅读 · 0 评论 -
使用java api操作Hadoop文件
1. 概述 2. 文件操作 2.1 上传本地文件到hadoop fs 2.2 在hadoop fs中新建文件,并写入 2.3 删除hadoop fs上的文件 2.4 读取文件3. 目录操作 3.1 在hadoop fs上创建目录 3.2 删除目录 3.3 读取某个目录下的所有文件 4. 参考资料接代码下载 . 概述 hadoop中关于文件操作类基本上全部是在org.apache.hadoop.原创 2011-07-02 13:15:07 · 1390 阅读 · 0 评论 -
hive实战
1. 安装hive下载hive,下载地址http://mirror.bjtu.edu.cn/apache//hive/,解压该文件:xuqiang@ubuntu:~/hadoop/src/hive$ tar zxvf hive-0.7.0-bin.tar.gz设置环境变量:xuqiang@ubuntu:~/hadoop/src/hive$ cd hive-0.7.0-bin/x原创 2011-06-15 20:49:00 · 2248 阅读 · 0 评论 -
深入Hadoop HDFS
<br /><br />1. hdfs架构简介<br />1.1 hdfs架构挑战<br />1.2 架构简介<br />1.3 文件系统命名空间File System Namespace<br />1.4 数据复制<br />1.5 元数据持久化<br />1.6 信息交换协议 <br />2. hdfs数据可访问性<br />2.1 web interface<br />2.2 shell command<1>. hdfs架构简介 <br />1.1 hdfs架构挑战<br />hdfs和大多数原创 2011-04-24 17:29:00 · 729 阅读 · 0 评论 -
Hadoop入门简介
<br /><br />1. Hadoop简介<br />2. Hadoop环境建立<br />3. 参考资料 <1>. Hadoop简介 <br />hadoop是apache的开源项目,开发的主要目的是为了构建可靠,可拓展scalable,分布式的系统,hadoop是一系列的子工程的总和,其中包含。<br />1. hadoop common:为其他项目提供基础设施<br />2. HDFS:分布式的文件系统<br />3. MapReduce:A software framework for dist原创 2011-04-22 20:20:00 · 703 阅读 · 0 评论 -
通过shell命令来控制hdfs
1. hadoop文件系统权限简介2.命令简介 3. 参考资料 . hadoop文件系统权限简介 hadoop文件系统实现的文件权限模型和posix模型极其类似。每个文件和目录和一个owner和group相关联。可以使用下面的命令来查看/tmp/目录下的所有文件及其权限:xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./b原创 2011-06-06 14:47:00 · 532 阅读 · 0 评论 -
MapReduce编程基础
1. WordCount示例及MapReduce程序框架2. MapReduce程序执行流程3. 深入学习MapReduce编程(1)4. 参考资料及代码下载 . WordCount示例及MapReduce程序框架 首先通过一个简单的程序来实际运行一个MapReduce程序,然后通过这个程序我们来哦那个结一下MapReduce编程模型。下载源程序:/Fi原创 2011-06-06 14:48:00 · 882 阅读 · 0 评论 -
Pig实战
1. pig简介2. 安装pig3. 实战pig4. 深入pig5. 参考资料及代码下载 . Pig简介 pig是hadoop项目的一个拓展项目, 用以简化hadoop编程(简化的程度超乎想象啊),并且提供一个更高层次抽象的数据处理能力,同时能够保持hadoop的简单和可靠性。. 安装pig 2.1 下载pig:[点击下载]pig安装包2.2原创 2011-06-06 14:49:00 · 982 阅读 · 0 评论 -
MapReduce高级编程
1. Chaining MapReduce Jobs任务链2. Join data from different data source. Changing MapReduce jobs 1.1 Chaining MapReduce jobs in a sequence MapReduce程序能够执行一些复杂数据处理的工作,通常的情况下,需要将这个任务task分割成原创 2011-06-06 14:48:00 · 930 阅读 · 0 评论 -
matlab变量及运算符
1. matlab变量2. 常见运算符3. 控制结构4.原创 2016-10-13 14:10:50 · 1688 阅读 · 0 评论