hadoop
文章平均质量分 72
younglibin
这个作者很懒,什么都没留下…
展开
-
hadoop集群搭建--1
境遇到很多问题,没有详细记录, 今天就在这里记录下。 hadoop 机器分布: 安装操作系统:centos6.4,为什么选择centos6.4 因为之前做存储的时候, 使用很多新的类库,再低版本没有, 所以选择新一点的,防止出现其他问题,耽搁时间。 机器环境:192.168.236.201 centos6.2 192.168.236.203 centos6.2192.168.232.202 centos6.2 机器不在一个网段也不知道会出原创 2014-03-04 18:21:59 · 99 阅读 · 0 评论 -
什么是MapReduce
/module4.html#inputformat 中文版:http://www.cnblogs.com/spork/archive/2010/01/11/1644342.html原创 2013-08-16 11:27:56 · 79 阅读 · 0 评论 -
大数据中:Hadoop云计算以及Nosql与BI商业智能之间的关系
原创 2013-08-09 11:11:28 · 240 阅读 · 0 评论 -
Hadoop和云计算的关系
原创 2013-08-09 10:53:09 · 487 阅读 · 0 评论 -
大数据与Hadoop之间的关系
原创 2013-08-09 10:48:52 · 303 阅读 · 0 评论 -
hadoop 学习安排
原创 2013-08-09 10:32:15 · 75 阅读 · 0 评论 -
Hadoop入门--大数据存储及处理平台产生的背景
原创 2013-08-09 10:22:32 · 108 阅读 · 0 评论 -
HDFS简介
原创 2013-08-08 16:30:46 · 85 阅读 · 0 评论 -
hadoop1.0 和hadoop2.0 任务处理架构比较
原创 2013-08-07 14:46:01 · 361 阅读 · 0 评论 -
在hadoop运行java程序
原创 2013-06-03 16:34:21 · 2003 阅读 · 0 评论 -
eclipse 导入 hadoop项目
原创 2013-08-12 10:55:40 · 1049 阅读 · 0 评论 -
搭建hadoop环境,执行wordcount
别还是挺大的,安装配置都不一样,所以一定确定自己用哪个 具体用哪个 参考:http://younglibin.iteye.com/blog/1921385(这里使用的老版本 1.2.1 ), 由于我选择的是一台服务器,所以选择了伪分布式部署(参考:http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html)3. 开始搭建:选择服务器:172.16.236.11 创建 libin 用户 密码 password原创 2013-08-14 14:30:58 · 202 阅读 · 0 评论 -
hadoop-job-mapreduce培训遗留问题
数量到底是谁来决定的?2.second namenode? second namenode 的是一个冷备份,如果namenode 节点出现故障的话,启动 second namenode 是不是可以是整个hadoop集群正常工作, 个人认为是可以的?待查资料? 3.block 是不是均匀分布 在各个datanode? 举个例子,加入默认块的大小是 64M 我有10个节点,那么对一个640M 的文件做mapreduce是不是每个节点都会得到64M 这么一个块?个人认为是可以的?待查原创 2013-08-28 15:55:07 · 65 阅读 · 0 评论 -
hadoop在文件分片blocksize
原创 2013-08-27 15:04:21 · 331 阅读 · 0 评论 -
Hadoop中InterfaceAudience 注解
/** * Annotation to inform users of a package, class or method's intended audience. */@InterfaceAudience.Public@InterfaceStability.Evolvingpublic class InterfaceAudience { /** * Intended for use by any project or application. */ @D原创 2013-08-27 12:44:54 · 337 阅读 · 0 评论 -
执行MapReduce-原码分析
PI(); // Connect to the JobTracker and submit the job connect(); info = jobClient.submitJobInternal(conf);; super.setJobID(info.getID()); state = JobState.RUNNING; }//创建一个client链接 private synchronized void connect原创 2013-08-23 17:49:16 · 95 阅读 · 0 评论 -
impossible to resolve dependencies: resolve failed - see output for details
原创 2013-08-20 16:37:14 · 1575 阅读 · 0 评论 -
hadoop secondarynamenode的作用
原创 2013-08-20 14:34:03 · 231 阅读 · 0 评论 -
hadoop中 各个进程之间的关系
原创 2013-08-20 14:30:33 · 101 阅读 · 0 评论 -
eclipse 上传文件到hadoop
e.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class HDFSystem { public static void uploadLoca原创 2013-08-15 17:41:50 · 345 阅读 · 0 评论 -
eclipse 运行hadoop wordcount
原创 2013-08-15 15:45:40 · 192 阅读 · 0 评论 -
执行hadoop 自带的例子
原创 2013-06-03 14:05:15 · 348 阅读 · 0 评论 -
搭建单机版hadoop环境
本地要支持:支持 ssh 和 sshserver 服务 hadoop 集群 服务 的start 和stop 集群是通过,ssh 连接到目标服务器 做操作的所以这里需要 支持ssh服务 由于 ssh 服务之间需要输入用户名和密码 , 所以要支持2. 解压 hadoop-1.0.4 到 本地 目录 : /root/workspace/hadoop/hadoop-1.0.43.配置环境变量:原创 2013-06-03 13:36:02 · 92 阅读 · 0 评论