Hadoop
关注
分享
扫一扫
愤怒的苹果ext
本人擅长Ai、Fw、Fl、Br、Ae、Pr、Id、Ps等软件的安装与卸载，精通CSS、JavaScript、PHP、ASP、C、C＋＋、C#、Java、Ruby、Perl、Lisp、python、Objective-C、ActionScript、Pascal等单词的拼写，熟悉Windows、Linux、Mac、Android、IOS、WP8等系统的开关机.
展开
-
hadoop集群安装
Hadoop集群安装环境： centos 6.5 3台 （一台namenode，二台datanode） hadoop2.4.1版本 jdk1.7下面2台是hadoop1克隆的。第一步：修改hosts和HOSTNAME ，全都关闭防火墙。第二步：配置hadoop1到其他2台机子的ssh无密登陆 ...原创 2016-11-01 11:59:39 · 581 阅读 · 0 评论 -
hadoop入门(一)
hadoop是什么？What Is Apache Hadoop?The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.Apache hadoop 是什么？Apache的Hadoop项目™®可靠的、可扩展的开发开源软件，分布式计算框原创 2017-02-17 10:41:48 · 931 阅读 · 0 评论 -
sqoop工具数据迁移
sqoop数据迁移工具 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。我的环境centos6.5hadoop2.4sq原创 2016-11-16 16:02:27 · 906 阅读 · 0 评论 -
使用java api操作hbase数据库
hbase提供了java操作它的接口，直接导入它的lib，下面直接上代码。package cn.zit.bigdata.hbase;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoo原创 2016-11-08 16:08:32 · 676 阅读 · 0 评论 -
搭建高可用的hadoop分布式集群HA
安装集群的准备工作：1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）/etc/hosts里面要配置的是内网IP地址和主机名的映射关系4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等集群规划：（一下是我克隆的7台虚拟机）主机原创 2016-11-07 14:05:56 · 1347 阅读 · 0 评论 -
start-dfs datanode没启动起来，异常java.io.IOException: Incompatible clusterIDs in
[zzq@weekend110 app]$ cat /home/zzq/app/hadoop/hadoop-2.4.1/data/dfs/data/current/VERSION#Mon Oct 10 02:10:19 PDT 2016storageID=DS-ae5abbe8-c187-4e58-b050-81b7def58776clusterID=CID-18605df2-4c30-41原创 2016-10-14 10:25:26 · 7716 阅读 · 4 评论 -
hadoop集群不管怎么启动在hadoop管理界面都看到只有一个datanode
在配置hadoop集群时，由于大多都是复制到每个节点上的，这就导致了datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageID只需要稍微修改下这2个id的值重新启动就可以了。就这样就行了。原创 2016-11-01 15:33:13 · 15543 阅读 · 32 评论 -
hadoop入门(二)
HDFS架构NameNodeDataNodeSecondary NameNode元数据存储信息示例：上传文件到hdfs工作流程：详解：客户端API先请求namenode，如果这个路径存在那么返回(元数据信息)可以分配的datanode给客户端API，假设这个文件512M，hdfs设置的每块128M，客户端API将其切分为3块，向dat原创 2017-02-17 17:38:08 · 325 阅读 · 0 评论