Hadoop
文章平均质量分 87
a60782885
这个作者很懒,什么都没留下…
展开
-
Hadoop大数据平台入门——HDFS和MapReduce
随着硬件水平的不断提高,需要处理数据的大小也越来越大。大家都知道,现在大数据有多火爆,都认为21世纪是大数据的世纪。当然我也想打上时代的便车。所以今天来学习一下大数据存储和处理。随着数据的不断变大,数据的处理就出现了瓶颈:存储容量,读写速率,计算效率等等。google不愧是走在世界前列的大公司,为了处理大数据,google提出了大数据技术,MapReduce,BigTable和GFS。原创 2017-05-06 21:58:57 · 8359 阅读 · 1 评论 -
Hadoop大数据平台入门——第一个小程序WordCount
首先我们需要安装Hadoop,并对Hadoop进行配置。这里我们就不赘述了,详情看这篇博客:Hadoop安装配置值得注意的是,配置的时候,需要给Hadoop权限才能正确执行。最简单的办法就是讲hadoop以及其目录下所有文件都归在一个组中。chown -R hadoop:hadoop hadoop文件夹就可以了。配置完成之后,我们我们还需要什么?1.需要在HDFS原创 2017-05-07 10:42:30 · 31363 阅读 · 1 评论 -
Hive安装
Hive安装。Hive是基于hadoop的,如果没安装hadoop的小伙伴请先去安装hadoop。Hive安装非常简单,分成三种模式。1.嵌入模式2.伪分布模式。3.完全分布模式。首先,无论哪个模式,都需要先下载Hive安装包。直接去官网https://hive.apache.org/下载一个和你的hadoop版本契合的hive版本即可。这里我使用已经编译好的bin原创 2017-07-18 13:21:42 · 472 阅读 · 0 评论 -
Hive基础使用
Hive启动方式:1.CLI界面:使用hive命令或hive --service cli即可进入hive cli。2.远程服务:使用hive --service hiveserver &方式启动远程服务,这样就可以使用jdbc或thrift客户端调用hive数据仓库。Hive数据类型我们可以在官网的hive wiki中查看到所有的数据类型。Hive wiki原创 2017-07-18 11:24:57 · 900 阅读 · 0 评论 -
hadoop docker安装部署
前置条件1.jdk镜像2.hadoop安装包解压安装包tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C /usr/localcd /usr/localmv hadoop-2.6.4 hadoop修改配置文件:cd hadoop/etc/hadoop1.首先修改hadoop-env.shvim hadoop-原创 2018-01-07 23:55:31 · 917 阅读 · 1 评论