大数据集群搭建
引领时尚S
这个作者很懒,什么都没留下…
展开
-
hadoop集群完全分布式集群搭建【基于centos7.0】
hadoop集群完全分布式集群搭建1、集群部署规划2、创建集群脚本a)在/home/yrx目录下创建bin目录,并在bin目录下xsync创建文件,文件内容如下:注:如果没有安装xsync的话,我们可以先装yum -y install rsync #启动rsync服务systemctl start rsyncd.servicesystemctl enable rsyncd...原创 2019-08-19 19:24:45 · 243 阅读 · 0 评论 -
大数据集群之-安装mysql【基于centos7.0】
# 安装mysql1.查看mysql是否安装,如果安装了,卸载mysql(1)查看[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64(2)卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_642.下载安装mys...原创 2019-08-19 19:33:51 · 398 阅读 · 0 评论 -
Hive安装【基于centos7.0】
3.0、Hive安装【基于centos7.0】1、hive安装配置(1)把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下(2)解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[yrx@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bi...原创 2019-08-25 11:02:47 · 148 阅读 · 0 评论 -
安装kafka
安装kafka1、解压安装包[yrx@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/2、修改解压后的文件名称[yrx@hadoop102 module]$ mv kafka_2.11-0.11.0.0/ kafka3、在/opt/module/kafka目录下创建logs文件夹[yrx@h...原创 2019-08-25 11:03:20 · 153 阅读 · 0 评论 -
安装Kylin
安装Kylin1、这几个需要都在/etc/profile里面有配置,并source使其生效2、启动hadoop、hive、hbase、zk 、hadoop的历史服务之后,然后启动kylinbin/kylin.sh start3、出现报错情况Failed to find metadata store by url: kylin_metadata@hbase这个错误原因是因为我们hb...原创 2019-08-25 11:04:23 · 166 阅读 · 0 评论 -
spark2.4 on yarn高可用安装【基于Centos7.0】
spark2.4 on yarn高可用安装【基于Centos7.0】1、首先,安装spark需要安装scala,这里不做陈述2、下载spark,并上传到相应位置3、解压sparktar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt/module/4、修改名字mv spark-2.4.0-bin-hadoop2.7/ spark5、进入sp...原创 2019-08-25 11:04:46 · 1003 阅读 · 0 评论 -
安装sqoop【基于centos 7.0】
安装sqoop1、解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module/2、更改名称mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop3、配置环境变量,并sourcesudo vi /etc/profileexport SQOOP_HOME=/opt/module/sqoope...原创 2019-08-25 11:05:37 · 194 阅读 · 0 评论 -
HBase安装
HBase安装1、首先保证zk正常部署,启动zk[yrx@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start[yrx@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start[yrx@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start2、保证h...原创 2019-08-25 11:06:20 · 157 阅读 · 0 评论 -
spark的动态资源配置
spark的动态资源配置对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行 的服务(比如Thrift Server),若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源张,这就造成了很大的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减 Executor个数,从...原创 2019-08-25 11:06:52 · 975 阅读 · 0 评论