hadoop-2.4.1集群搭建及验证

关于如何搭建hadoop-2.4.1集群大家可以到:http://download.csdn.net/detail/u012453843/9662855这个地址下载集群搭建文档,文档里有详细的搭建步骤,如果还有疑问,大家可以参考我写过的一篇搭建hadoop-2.2.0集群的博客,博客地址是:htt...

2016-11-17 00:47:12

阅读数 1149

评论数 0

CentOS6.8编译Hadoop-2.4.1

前面我写过一篇怎样编译hadoop-2.2.0的博客,今天我又试着编译了一下hadoop-2.4.1版本,编译的步骤跟编译hadoop-2.2.0的时候基本一样,编译hadoop-2.2.0的博客地址是: http://blog.csdn.net/u012453843/article/detai...

2016-11-15 16:55:56

阅读数 444

评论数 0

学习Hadoop第三十五课(综合练习)

上节课我们一起学习了自动化采集工具Flume,这节课我们一起来把我们前面学习的知识综合起来,做一个小项目。 第一部分:项目分析         我们要做的小项目是关于黑马训练营的日志分析项目,用到的日志文件大家可以到:http://download.csdn.net/detail/u0124538...

2016-11-12 01:12:35

阅读数 1229

评论数 1

学习Hadoop第三十四课(自动化采集工具---Flume)

上节课我们一起学习了Hive自定义UDF,这节课我们一起来学习一下自动化采集工具Flume。         首先我们来看一张图,如下所示,最上方代表三台设备,当然可以是更多的设备,每台设备运行过程都会产生一些log,这些log是我们需要的信息,我们不可能手动的一台一台的去收集这些log,那样的话...

2016-11-09 00:09:56

阅读数 1690

评论数 0

学习Hadoop第三十三课(Hive自定义UDF)

上节课我们一起学习了Hive进行多表联合查询,这节课我们一起来学习一下Hive的自定义UDF。 第一步:创建Hive工程       我们这里为了简单就不用Maven了,而是直接使用lib包并把我们需要的jar包放到lib当中。如下所示。       我们需要把hive的lib下的所有的包放到l...

2016-11-07 01:25:06

阅读数 1528

评论数 1

学习Hadoop第三十二课(hive练习--多表联合查询)

上一节课我们一起学习了Hive的基础及分区表,这节课我们一起来做一个hive的综合练习。 第一步:建表        我们需要两张表,分别是trade_detail和user_info,两张表的信息如下。        第一张表:trade_detail,id要作为主键      第二张表:us...

2016-11-06 22:39:35

阅读数 8055

评论数 0

学习Hadoop第三十一课(hive基础及分区表)

上节课我们一起学习了Hive的简单入门,这节课我们一起来学习Hive基础及分区表。 第一部分:hive基础          首先我们在itcast03上启动hive并创建一张表,如下所示。        接下来我们到hive数据库去查看一下我们创建的表的信息存储情况,我使用的mysql...

2016-11-06 17:17:12

阅读数 2303

评论数 1

学习Hadoop第三十课(Hive简单入门)

上节课我们一起学习了用Java来对HBase的表进行增、删、改、查操作。这节课我们开始步入Hive的学习阶段        我们先来看一下Hive的简介,如下图所示,Hive是一个数据仓库,它部署在Hadoop集群上,它的数据是存储在HDFS上的,Hive所建的表在HDFS上对应的是一个文件夹,表...

2016-11-05 14:40:49

阅读数 10589

评论数 1

学习Hadoop第二十九课(利用Java对HBase表进行增、删、改、查操作)

上节课我们一起学习了利用Java来创建一张HBase表,这节课我们一起学习怎样用Java来调用HBase接口并对数据表进行增、删、改(没有update,但是可覆盖)、查操作。         当然,在插入数据前请确保Hadoop集群、Zookeeper集群、HBase集群正常工作。大家如果还没搭...

2016-11-04 15:49:15

阅读数 1063

评论数 0

在Windows系统下利用Maven来开发HBase

现在Maven越来越火了,因此我这里就以使用Maven来开发HBase为例,来说说如何进行操作。 第一步:在Windows系统安装Maven        1.1  我这里安装的Maven版本是3.2.5的版本,大家可以去官网下载,如果不知道怎样在官网下载的话,可以参考:http://blog.c...

2016-11-03 15:11:06

阅读数 1085

评论数 0

学习Hadoop第二十八课(java通过调用接口来操作HBase)

上节课我们一起简单学习了HBase的一些理论,这节课我们一起学习用java调HBase的接口来操作HBase。        我们首先建一个工程,这里我们还用原始的新建一个lib包。然后我们把下载的hbase-0.96.2-hadoop2-bin.tar.gz包解压,解压后有个lib包,我们把li...

2016-11-03 00:57:59

阅读数 761

评论数 2

学习Hadoop第二十七课(HBase理论一)

上节课我们一起学习了HBase集群的搭建,这节课我们一起来简单学习一下HBase的理论知识。         我们首先来看一下下面这张图,HBase存储数据也是存储到表中(这点和我们的关系型数据库是类似的),一个row key保存一行内容,与关系型数据库不一样的地方是,HBase数据库的表中引入了...

2016-11-02 23:27:27

阅读数 678

评论数 0

学习Hadoop第二十六课(HBase集群搭建)

上一节课我们一起学习了单节点HBase建表、插入数据、删除数据、查询数据的知识,这节课我们一起来学习HBase集群的搭建。 第一步:下载HBase安装包hbase-0.96.2-hadoop2-bin.tar.gz         大家可以到Apache官网下载也可以直接到http://pan.b...

2016-11-01 01:18:18

阅读数 850

评论数 0

学习Hadoop第二十五课(单节点HBase建表、插入数据及查询)

上节课我们一起学习了HBase的一些理论知识还搭建好了单节点的HBase,那么这节课我们一起来学习一下HBase是如何建表,如何插入数据以及如何查询数据的。大家如果没看过上节课内容的,可以到:http://blog.csdn.net/u012453843/article/details/52970...

2016-10-30 23:46:15

阅读数 1608

评论数 0

学习Hadoop第二十四课(HBase 简单入门)

上节课我们一起简单学习了Shell脚本,这节课我们来简单学习一下HBase,首先我们来看一下HBase的简介,如下图所示。       接下来我们一块儿看一下HBase的几个概念,首先来看第一个概念:Row Key,如下图所示,Row Key顾名思义,就是把一行当做主键,由于HBase建立了索引...

2016-10-30 11:54:36

阅读数 2235

评论数 0

学习Hadoop第二十三课(Shell简单入门)

上节课我们一起学习了Sqoop(数据迁移工具),这节课我们一起简单学习一下Shell脚本。      首先我们来新建一个test.sh文件,并在文件内输入一句用来输出的语句,如下所示。 [root@itcast03 ~]# vim test.sh echo '123'       保存上面...

2016-10-30 01:14:13

阅读数 807

评论数 0

学习Hadoop第二十二课(Sqoop---数据迁移工具)

上节课我们一起学习了Hadoop集群测试,这节课我们一起学习一下Sqoop,Sqoop是专门用来迁移数据的,它可以把数据库中的数据迁移到HDFS文件系统,当然也可以从HDFS文件系统导回到数据库。       我来说一下Sqoop的使用场景,假如你们公司有个项目运行好长时间了,积累了大量的数据,现...

2016-10-28 01:50:53

阅读数 3518

评论数 0

学习Hadoop第二十一课(Hadoop集群测试)

上节课我们一起学习了怎样搭建一个6台设备的Hadoop集群,这节课我们一起来学习一下怎样测试我们搭建的集群是否有问题。 第一步:启动Zookeeper 我们启动HDFS之前一定要先启动Zookeeper,否则DFSZKFailoverController这个进程将无法正常启动。 我们分别在itca...

2016-10-26 01:23:17

阅读数 1332

评论数 1

学习Hadoop第二十课(Hadoop集群的搭建)

上节课我们一起学习了Zookeeper集群的搭建,那只是个热身,这节课我们一起要学习的Hadoop集群的搭建才是重中之重。         首先还是先说一下Zookeeper在Hadoop集群的作用,以前我们学习Hadoop伪分布式的时候没有用到Zookeeper是因为伪分布式只有一个NameNo...

2016-10-16 22:48:07

阅读数 2033

评论数 2

学习Hadoop第十九课(Zookeeper集群搭建)

上节课我们一起学习了Zookeeper的理论知识,这节课我们一起来搭建一个Zookeeper集群,需要说明的是我们现在只是学习搭建集群,所以用的是CentOS虚拟机,还有如果在公司搭建集群的话是不能用root用户来搭建的,而是要用Hadoop用户来搭建,这里为了方便我们就以root用户来搭建了。 ...

2016-10-14 13:37:01

阅读数 1731

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭