apache hadoop
文章平均质量分 78
ZeroTeam_麒麟
谢谢你的瞧不起
展开
-
Hadoop 命令提示/home/hadoop/src/hadoop-2.7.1/bin/hadoop: line 166: /home/hadoop/src/hadoop-2.7.1//bin/ja
/home/hadoop/src/hadoop-2.7.1/bin/hadoop: line 166: /home/hadoop/src/hadoop-2.7.1//bin/java: No such file or directory/home/hadoop/src/hadoop-2.7.1/bin/hadoop: line 166: exec: /home/hadoop/src/hadoop-2.7.1//bin/java: cannot execute: No such file or direct原创 2016-04-05 19:18:34 · 8308 阅读 · 1 评论 -
Hadoop HA+Zookeeper
Hadoop HA+Zookeeper系统环境hadoop 2.6.0zookeeper 3.4.5CentOS 6.5 header 1 header 2 row 1 col 1 row 1 col 2 row 2 col 1 row 2 col 2 主机名 ip null canbot130 192.168.186.130 active NameNo原创 2016-05-23 16:36:35 · 1516 阅读 · 0 评论 -
Hadoop Archives 小数据处理
Hadoop Archives 小文件处理原创 2016-07-07 21:58:15 · 2662 阅读 · 1 评论 -
Hadoop-2.6.0分布式单机环境搭建HDFS讲解Mapreduce示例
Hadoop安装使用1.1 Hadoop简介1.2 Mapreduce 案例1.3 单机安装1.4 HDFS分布式存储系统 1.5 伪分布式安装1.6 课后作业1.1 Hadoop简介 在文章的时候已经讲解了Hadoop的简介以及生态圈,有什么不懂的可以"出门右转"http://dwz.cn/4rdSdU1.2 HDFS分布式存储系统(Hadoop Distributed Fil原创 2016-10-27 17:26:56 · 10129 阅读 · 3 评论 -
eclipse开发Mapreduce初
环境 名称 版本 地址 eclipse eclipse-jee-neon-1a-win32-x86_64 www.baidu.com hadoop hadoop-2.6.0-cdh5.8.2 www.baidu.com eclipse-hadoop插件 hadoop-2.6.0 64x 下载地址目录1.eclipse安装hadoop插件2.编写mapr原创 2016-12-11 15:18:55 · 4580 阅读 · 0 评论 -
HDFS的运行原理
简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。原创 2017-02-20 16:15:49 · 3357 阅读 · 0 评论 -
HDFS中JAVA API的使用
HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。 对分HDFS中的文件操作主要涉及一下几个类: Configuration类:该类的对象封转了客户端或者服务器的配置。 FileSystem类:该类的对象是一个文件系统对象,可以用该对象的原创 2017-02-22 17:30:38 · 3184 阅读 · 0 评论 -
Hadoop name启动为standby状态shell命令报错
16/05/25 03:13:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 16/05/25 03:13:23 INFO retry.RetryInvocationHandler:原创 2016-05-25 15:34:18 · 4646 阅读 · 1 评论 -
hadoop HA 高可用集群部署搭建
HADOOP HA 介绍1. 概论本指南提供了一个HDFS 的高可用性(HA )功能的概述,以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情,请参阅Apache 的HDFS 的架构指南。http://hadoop.apache.org/common/docs/current/hdfs_design.ht原创 2016-05-11 13:53:52 · 2134 阅读 · 0 评论 -
Hadoop 版本查看 32x还是64x
file ~/src/hadoop-2.7.1/lib/native/libhadoop.so.1.0.0 返回消息/home/hadoop/src/hadoop-2.7.1/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not st转载 2016-03-25 14:36:56 · 450 阅读 · 0 评论 -
Hadoop格式化namenode失败
hadoop 2.7.1,Hadoop自动HA部署shell脚本原创 2016-03-25 17:50:16 · 7002 阅读 · 0 评论 -
zookeeper错误记录一;Cannot open channel to 2 at election address s1/192.168.253.131:3888 java.net.Connec
zookeeper分布式启动zookeeper.out提示错误Cannot open channel to 2 at election address s1/192.168.253.131:3888java.net.ConnectException: Connection refused原因原创 2016-03-26 10:51:35 · 37366 阅读 · 12 评论 -
格式化Namenode提示Call From n1/192.168.253.130 to s1:8485 failed on connection exception: java.net.Connec
HDFS错误记录一:格式化Namenode提示Call From n1/192.168.253.130 to s1:8485 failed on connection exception: java.net.Connec原创 2016-03-28 17:09:54 · 9203 阅读 · 2 评论 -
Sqoop安装配置
使用的系统Linux CentOS 6.5Hadoop:hadoop-2.7.1sqoop-1.99.6 下载地址:http://apache.fayea.com/sqoop/1.99.6/sqoop-1.99.6-bin-hadoop200.tar.gz解压配置tar zxvf sqoop-1.99.6-bin-hadoop200.tar.gz -C /home/hado原创 2016-04-11 19:40:52 · 698 阅读 · 0 评论 -
HADOOP 启动NodeManager闪退,logs信息:java.net.NoRouteToHostException: 没有到主机的路由
提示LOGS信息org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.NoRouteToHostException: No Route to Host from dataNode1/192.168.2.247 to nameNode:8031 failed on socket timeout exception: j原创 2016-05-11 10:25:33 · 3758 阅读 · 0 评论 -
Hadoop-2.7.1完全分布式集群搭建完整版
CentOS 6.5+Hadoop-2.7.1完全分布式集群搭建完整版原创 2016-04-05 18:52:53 · 7339 阅读 · 0 评论 -
hadoop 集群HA高可用搭建以及问题解决方案
hadoop 集群HA高可用搭建目录大纲1. hadoop HA原理2. hadoop HA特点3. Zookeeper 配置4. 安装Hadoop集群5. Hadoop HA配置搭建环境 环境 版本 地址地址 CentOS 6.5 64x 点击下载 hadoop 2.5.1 点击下载 Zookeeper 3.4.5 点击下载 Hadoop原创 2017-02-20 19:44:22 · 12062 阅读 · 1 评论