大数据组件搭建
文章平均质量分 69
大数据常用组件搭建,比较简洁,过程全部经过测试
sgxmr
这个作者很懒,什么都没留下…
展开
-
storm搭建
Storm集群配置需要先开启zookeeper解压安装包[root@master software]# tar -zxvf apache-storm-1.2.3.tar.gz -C /usr/local/src[root@master software]# cd /usr/local/src[root@master src]# mv apache-storm-1.2.3/ storm配置环境变量[root@master src]# vim /etc/profile[root@master原创 2021-11-24 19:42:36 · 1426 阅读 · 0 评论 -
sqoop安装和应用
概述介绍Sqoop是Apache旗下一款**Hadoop和关系数据库服务器之间传送数据的工具。**主要用于在Hadoop(Hive)与传统的数据库(MySQL、Oracl、Postgres等)之间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。多数使用Hadoop技术处理大数据业务的企业,有大量的数据存储在关系型数据中。由于没有工具支持,Hadoop和关系型数据库之间的数据传输是很困难的事情。传统的应用程序管理系统,即应用程序原创 2021-02-23 09:24:12 · 346 阅读 · 0 评论 -
Hive+mysql搭建
文章目录Hive+Mysql安装mysql卸载amriadb下载mysql依赖包(yum安装)启动mysql服务查看mysql临时密码使用mysql安全向导登录登录mysql修改权限安装hive解压hive安装包配置环境变量解决jar包冲突修改配置文件格式化hive启动hiveHive+Mysqlhive基于hadoop hadoop配置完成再能继续配置hive安装mysql卸载amriadb[root@master software]# rpm -qa | grep mariadb[roo原创 2021-11-19 10:01:19 · 644 阅读 · 0 评论 -
Hbase搭建
文章目录HBase集群配置解压安装包配置环境变量分发环境变量修改配置文件建立软连接分发安装目录启动HBase集群HBase集群配置HBase基于hadoop和zookeeper所以进行HBase集群的配置安装要先进行hadoop和zookeeper的配置安装解压安装包[root@master software]# tar -zxvf hbase-1.2.4-bin.tar.gz -C /usr/local/src[root@master software]# cd /usr/local/src/原创 2021-11-19 10:00:07 · 434 阅读 · 0 评论 -
Spark搭建
文章目录Spark集群配置部署模式对比spark-localspark-standalonespark on yarnspark HAspark历史服务器spark提交任务Spark集群配置部署模式对比模式Spark 安装机器数需启动的进程所属者应用场景Local1无Spark测试Standalone3Master 及 WorkerSpark单独部署Yarn1Yarn 及 HDFSHadoop混合部署端口号Ø Spark 查看当前原创 2021-11-19 09:58:36 · 205 阅读 · 0 评论 -
flink搭建
文章目录Flink集群配置flink-local解压安装包配置环境变量启动查看进程Flink-standalone模式解压安装包配置环境变量分发环境变量修改配置文件分发配置文件启动集群Flink on yarnSession-Cluster启动hadoop集群解压安装包配置环境变量分发环境变量分发配置文件启动session运行自带wordcount程序关闭sessionPer-Job-Cluster启动hadoop集群解压安装包配置环境变量分发环境变量分发配置文件Flink集群配置flink-local原创 2021-11-19 09:57:45 · 162 阅读 · 0 评论 -
HadoopHA搭建
文章目录HadoopHA环境部署配置主机映射配置免密登录安装jdk配置zookeeper解压zookeeper安装包配置环境变量修改配置文件分发zookeeper目录启动zookeeper集群配置hadoop配置环境变量尚大修改配置文件core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml修改配置文件core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml声明集群修改JAVA_HOME启动集群启动jou原创 2021-11-19 09:54:31 · 135 阅读 · 0 评论 -
flume搭建
Flume集群配置+案例解压flume安装包[root@master src]# tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src[root@master src]# cd /usr/local/src/[root@master src]# mv apache-flume-1.6.0-bin/ flume //更名配置环境变量[root@master src]# vim /etc/profile[root@master原创 2021-11-19 09:53:24 · 1174 阅读 · 0 评论 -
kafka集群搭建
Kafka集群配置kafka集群基于zookeeper 配置kafka时要保证zookeeper配置完毕并且能顺利启动解压安装包[root@master software]# tar -zxvf kafka_2.11-1.0.1.tgz -C /usr/local/src[root@master software]# cd /usr/local/src//更名[root@master src]# mv kafka_2.11-1.0.1/ kafka配置环境变量[root@master sr原创 2021-11-19 09:52:40 · 889 阅读 · 0 评论 -
zookeeper集群搭建
Zookeeper集群配置zookeeper基于java没有java zookeeper集群起不来解压安装包[root@master software]# tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/src/改名[root@master software]# cd /usr/local/src/[root@master src]# mv zookeeper-3.4.5/ zookeeper配置环境变量[root@master src]#原创 2021-11-19 09:50:58 · 1356 阅读 · 0 评论 -
hadoop全分布式搭建
Hadoop全分布式前提准备好三台服务器关闭防火墙[root@master ~]# systemctl stop firewalld[root@master ~]# systemctl disable firewalld添加主机映射[root@master ~]# vim /etc/hosts分发映射[root@master ~]# scp /etc/hosts slave1:/etc/hosts[root@master ~]# scp /etc/hosts slave2:/etc/原创 2021-11-19 09:50:18 · 422 阅读 · 0 评论 -
hadoop伪分布式搭建
Hadoop伪分布模式配置映射[root@master software]# vim /etc/hosts最下面增加自己ip和映射名ip 映射名配置自己的免密登录[root@master software]# ssh-keygen三次回车[root@master software]# ssh-copy-id master解压安装包[root@master software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/local/sr原创 2021-11-19 09:47:46 · 851 阅读 · 2 评论