hadoop系列
hdfs, yarn, hive, hbase
IAmListening
没有签名,所以个性
展开
-
HadoopHA5_安装hbase
前言Hbase是一个非关系型数据库,它的语法和sql语法有很大的区别,初学时会觉得很不习惯但是与关系型数据库不同,hbase没有复杂的语句体系,以实现各种数据处理的需求(语句体系不复杂意味着学起来不用花太多时间)这是因为Hbase的优势不在于处理分析数据,它适用于即时查询超量数据的情境.环境版本linuxcentos_6.7jdk1.8.0_60had...原创 2019-05-02 22:40:34 · 253 阅读 · 0 评论 -
HadoopHA3_hadoop高可用的配置文件
前言linux环境下的软件,可以通过二进制,rpm,yum和源码包四种方式安装其中只有源码包的安装较为复杂软件使用的重点在于修改调试配置文件环境版本linuxcentos_6.7jdk1.8.0_60hadoop2.7.1zookeeper3.4.7mysql5.6.26hive1.2.1-binhbase1.2.1...原创 2019-05-02 22:33:43 · 549 阅读 · 0 评论 -
HadoopHA3_搭建hadoop高可用
前言中大型的hadoop集群,往往会通过CDH来统一安装,配置.但是维持CDH本身就需要消耗系统资源,如果是小型集群,或者只是搭建测试环境,就需要手动搭建hadoop集群.hadoop的设计本身,就具备着极强的的扩展性.所以搭建集群时,最耗时的是配置集群核心.换言之,我们只要先将集群核心搭建完成,Hadoop集群的扩展也就不是问题狭义上的核心其实只有2台机器:namenode和 reso...原创 2019-05-02 22:26:16 · 488 阅读 · 0 评论 -
HadoopHA2_搭建时间同步服务器和yum源
前言网络是传递资源和信息最为方便快捷的途径即使是在没有外网的纯局域网环境中,也要搭建起一台服务器,以方便机群中的各个节点下载资源因此,在真正开始搭建hadoop集群之前,需要先搭建起时间同步服务器和yum源环境版本linuxcentos_6.7jdk1.8.0_60hadoop2.7.1zookeeper3.4.7mysql5.6.26...原创 2019-05-02 21:25:14 · 353 阅读 · 0 评论 -
HadoopHA1_安装windows+linux双系统
想在linux集群上搭建hadoop环境,首先要有一个linux集群如果没有可用的机群,或是只是为了简单的测试,新建多台虚拟机是不错的选择.在虚拟机中安装linux的流程十分简单,不再赘述.来看一下如何在硬盘上安装linux系统.windows10 + centOS_7.5双系统安装步骤配置陌生环境之前,最好先访问官网:谷歌centOS即可(如果对英文网站不太熟悉,可以借助浏览器的翻译...原创 2019-05-01 23:53:46 · 451 阅读 · 2 评论 -
HadoopHA4_Hive的安装和相关异常
(安装的易错点在于mysql数据库的配置)环境:catenOS6.7;hadoop2.7.1第一步:配置mysql(5.6.26版本)1)新建hive用户# create user 'hive' identified by 'hive'注:虽然可以直接使用root用户,但是推荐新建hive用户2)更改hive用户的权限,刷新权限# grant all privileges on *...原创 2019-04-18 01:27:13 · 338 阅读 · 2 评论