![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 76
xiaoping8411
一个走在路上的人,前面有太多太多的路。一个为了学习与生活,要不停奔走的人。
展开
-
Hadoop分布式安装
一、安装准备 1、下载hadoop,地址:http://hadoop.apache.org/,下载相应版本 2、下载JDK版本:Hadoop只支持1.6以上,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 3、操作系统:Linux原创 2012-04-02 19:40:58 · 1164 阅读 · 0 评论 -
在eclipse3.7中配置hadoop1.0.1插件
1.安装插件 准备程序: eclipse-3.7 hadoop-eclipse-plugin-1.0.1 (http://download.csdn.net/detail/xiaoping8411/4216102) 将hadoop-eclipse-plugin-1.0.1复制到eclipse/plugins目录下,重启eclipse。 2.打开MapReduce视图 Window原创 2012-04-20 21:55:26 · 8606 阅读 · 7 评论 -
Hadoop命令摘录
一:文件操作 1、建立目录 [hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir 在HDFS中建立一个名为testdir的目录 2、上传文件到HDFS [hadoop@hadoop1:hadoop]$bin/hadoop dfs -put /home/hadoop/test.zip testfile.zip 把本地文件large.z原创 2012-04-05 16:51:21 · 2552 阅读 · 0 评论 -
HDFS的JavaAPI操作
package hdfs; import static org.junit.Assert.fail; import java.util.Arrays; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FSDat原创 2012-05-15 07:44:29 · 7923 阅读 · 4 评论 -
HDFS基本知识整理
设计理念: 1、超大文件 2、流式数据访问 3、商用普通硬件 不适合场景: 1、低时间延迟的数据访问 2、大量的小文件 3、多用户写入,任意修改文件 一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最原创 2012-05-15 07:57:16 · 1220 阅读 · 0 评论 -
hadoop作业调优参数整理及原理
1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示,每一个map都会对应存在一个内存buffer(MapOutputBuffe转载 2012-05-15 08:08:50 · 1431 阅读 · 0 评论 -
Hive基本命令整理
创建表: hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string 创建一个新表,结构与其他一样 hive> create table new原创 2012-05-26 17:25:35 · 97598 阅读 · 2 评论 -
配置secondarynamenode
secondary namenoded 配置很容易被忽视,如果jps检查都正常,大家通常不会太关心,除非namenode发生问题的时候,才会想起还有个secondary namenode,它的配置共两步: 集群配置文件conf/master中添加secondarynamenode的机器 修改/添加 hdfs-site.xml中如下属性:转载 2012-07-06 11:15:40 · 3111 阅读 · 0 评论