Hadoop
文章平均质量分 87
涛濤
Hope for the best, prepare for the worst!
展开
-
Java访问Hadoop实践
Java访问Hadoop实践 要想访问Hadoop集群,你当然要自己有一个集群呀,否则怎么test,此处有教你怎样用虚拟机搭建Hadoop集群 http://blog.csdn.net/admin1973/article/details/60874923 此处记录用java访问Hadoop集群HDFS,简单操作 源码下载地址: http://download.csdn.net/det原创 2017-03-08 17:10:59 · 8406 阅读 · 1 评论 -
Hadoop 常用命令
bin/Hadoop dfsadmin -safemode leave ,安全模式设置 enter - 进入安全模式 leave - 强制NameNode离开安全模式 get - 返回安全模式是否开启的信息 wait - 等待,一直到安全模式结束。 格式化namenode:./bin/hdfs namenode –format 6.启动Ha转载 2017-03-13 12:25:53 · 394 阅读 · 0 评论 -
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 搭建好Hadoop集群后写java程序测试确出现如下异常: 2017-03-10 11:48:49,887 ERROR [main] util.Shell (Shell.java:getWinUti原创 2017-03-10 11:47:40 · 890 阅读 · 0 评论 -
Hadoop Mapreduce Java操作实例
Mapreduce简介: http://blog.csdn.net/admin1973/article/details/60956943 部分内容转载自: http://my.oschina.net/itblog/blog/275294 分析MapReduce执行过程 MapReduce运行的时候,会通过Mapper运行的任务读取HDFS中的数据文件,原创 2017-03-10 15:59:16 · 4947 阅读 · 0 评论 -
Linux下安装Hadoop集群(三台一主二从)
Linux下安装Hadoop集群(三台一主二从) 准备环境: 安装三台Centos7虚拟机 集群规划 master 192.168.113.130 jdk、hadoop namenode ressourcemanager slave1 192.168.113.131 jdk、hadoop datanode secondn原创 2017-03-10 12:07:15 · 737 阅读 · 0 评论 -
MapReduce简介
MapReduce简介 参考自[http://www.cnblogs.com/swanspouse/p/5130136.html] MapReduce定义: MapReduce是一种可用于数据处理的编程框架。MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果转载 2017-03-09 11:26:20 · 926 阅读 · 0 评论 -
Hadoop集群常用命令
启动脚本 脚本说明 启动脚本 脚本说明 start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 T原创 2017-03-09 09:42:40 · 587 阅读 · 0 评论 -
Name node is in safe mode.
Exception in thread "main" org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create file/test/sogou_pinyin_80k.exe. Name node is in safe mode. Th原创 2017-03-09 09:30:33 · 557 阅读 · 0 评论 -
Hadoop-HDFS运行原理
简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。转载 2017-03-08 20:44:36 · 321 阅读 · 0 评论 -
Linux CentOS7安装Hadoop2.7集群
Linux CentOS7安装Hadoop2.7集群 总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。 1、环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成, Mast原创 2017-03-08 16:26:15 · 1228 阅读 · 0 评论 -
Java MapReduce 基本计算操作实现实战
Java MapReduce 基本计算操作实现实战 特别注意: 1.在运行代码的过程中注意自己本地Hadoop版本必须与服务器版本一致,否则会出现许多意向不到的问题; 2.数据之间不能有空行间隔; 3.解析字符串时使用的StringTokenizer,单词间隔必须是空格,否则也将解析失败; 4.可以将输入数据放在本地也可以上传至HDFS上,使用时指定文件夹Path原创 2017-03-14 10:06:39 · 8776 阅读 · 2 评论