![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 74
a60782885
这个作者很懒,什么都没留下…
展开
-
Hadoop大数据平台入门——HDFS和MapReduce
随着硬件水平的不断提高,需要处理数据的大小也越来越大。大家都知道,现在大数据有多火爆,都认为21世纪是大数据的世纪。当然我也想打上时代的便车。所以今天来学习一下大数据存储和处理。随着数据的不断变大,数据的处理就出现了瓶颈:存储容量,读写速率,计算效率等等。google不愧是走在世界前列的大公司,为了处理大数据,google提出了大数据技术,MapReduce,BigTable和GFS。原创 2017-05-06 21:58:57 · 8324 阅读 · 1 评论 -
Hadoop大数据平台入门——第一个小程序WordCount
首先我们需要安装Hadoop,并对Hadoop进行配置。这里我们就不赘述了,详情看这篇博客:Hadoop安装配置值得注意的是,配置的时候,需要给Hadoop权限才能正确执行。最简单的办法就是讲hadoop以及其目录下所有文件都归在一个组中。chown -R hadoop:hadoop hadoop文件夹就可以了。配置完成之后,我们我们还需要什么?1.需要在HDFS原创 2017-05-07 10:42:30 · 31340 阅读 · 1 评论 -
Hive 介绍
Hive是什么?Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。Hive是一个数据仓库,那么Hive和传统意义上的数据库有什么不一样的呢?1.hive和关系数据库存储文件的系统不同,hive使用的是hadoop的H原创 2017-07-18 09:37:54 · 586 阅读 · 0 评论 -
Hive安装
Hive安装。Hive是基于hadoop的,如果没安装hadoop的小伙伴请先去安装hadoop。Hive安装非常简单,分成三种模式。1.嵌入模式2.伪分布模式。3.完全分布模式。首先,无论哪个模式,都需要先下载Hive安装包。直接去官网https://hive.apache.org/下载一个和你的hadoop版本契合的hive版本即可。这里我使用已经编译好的bin原创 2017-07-18 13:21:42 · 462 阅读 · 0 评论 -
Hive基础使用
Hive启动方式:1.CLI界面:使用hive命令或hive --service cli即可进入hive cli。2.远程服务:使用hive --service hiveserver &方式启动远程服务,这样就可以使用jdbc或thrift客户端调用hive数据仓库。Hive数据类型我们可以在官网的hive wiki中查看到所有的数据类型。Hive wiki原创 2017-07-18 11:24:57 · 888 阅读 · 0 评论 -
docker创建ssh镜像并分配固定ip
最近做一个大数据项目,由于服务器数量问题,使用docker进行开发。所以首先需要创建一个可以ssh进入的服务器,并为容器分配固定ip。1.为容器分配固定ipcentOs安装docker:yum install docker安装centOs镜像:docker pull hub.c.163.com/public/centos:6.7-toolsps:如果原创 2018-01-04 23:48:45 · 4080 阅读 · 0 评论 -
zookeeper概念和部署
1.Zookeeper概念简介Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务A、zookeeper是为别的分布式程序服务的B、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务)C、Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……D、虽然说可以提供原创 2018-01-05 00:00:09 · 534 阅读 · 0 评论 -
docker kafka集群安装部署
安装包下载http://kafka.apache.org/downloads.html前置准备jdk镜像kafka安装包解压tar -zxvf kafka_2.10-0.8.2.1.tgz -C /usr/localmv kafka_2.10-0.8.2.1 kafkacd /usr/local/kafka/config修改配置文件:cp原创 2018-01-07 23:46:56 · 1202 阅读 · 0 评论