大数据
文章平均质量分 96
大数据
韧小钊
代码界的小学生
展开
-
元数据管理Apache Atlas编译集成部署及测试
虚拟机之前部署过(2.7.3版本),略!kafka_2.13-3.2.0.tgz下载地址,速度比较快,如果不行,只能去官网下载了。 查看topic命令 查看具体topic内容命令 🍊2.3、hive 自行官网下载,有积分的花两分快速下载此次主要是增加变量,其路径部署atlas时会涉及到 bin/hive 指定hbase 添加hooks(还需要部署MySQL哟,也可以不部署,采用内嵌模式-应该不影响采集吧,尝试的越多越感觉无知) conf/atlas-application.proper.原创 2022-06-27 22:45:46 · 849 阅读 · 0 评论 -
hadoop2.7及spark伪分布式集群搭建
准备布一个hadoop的伪分布式集群(三台虚拟机master,slave1,slave2)1.操作系统: Linux: CentOS7 64 Bit Java: 1.8(自己下载了tar包,自带的配置起来较麻烦) Hadoop: 2.7.5(下载地址:https://blog.csdn.net/qq_36434219/article/details/80669692 ) ...原创 2018-06-17 00:11:05 · 1909 阅读 · 0 评论 -
hadoop2.7及spark伪分布式集群搭建遇到的问题
1.建议搭建之前先禁用防火墙(遇到过slave的nodemanager会自动关闭,日志说获取不到主机路由问题,通过关闭防火墙即可,我的linux是centos7): 关闭防火墙:systemctl stop firewalld.service 禁用防火墙:systemctl disable firewalld.service 2.格式化nodename报错:1).原因是配置文件.ba...原创 2018-06-17 09:13:43 · 1189 阅读 · 0 评论 -
zookeeper实现spark高可用
一 安装zookeeper 1.环境:hadoop+spark详情参考如下地址 https://blog.csdn.net/qq_36434219/article/details/80716189 2.下载zookeeper-3.4.10.tar.gz包,jdk1.8 3.解压(本人特意建了一个用户) 4.创建data和logs目录 5.修改配置文件(可以先配置hosts文件,...原创 2018-07-15 11:01:48 · 962 阅读 · 0 评论 -
HA集群搭建
Spark高可用:https://blog.csdn.net/qq_36434219/article/details/80961183 Hadoop和Spark集群搭建:https://blog.csdn.net/qq_36434219/article/details/80716189 HA集群部署: 主机名 安装的软件 运...原创 2018-07-28 14:33:27 · 2063 阅读 · 0 评论 -
HA搭建用到的命令和问题
1.命令 hdfs dfsadmin -report // 查看hdfs的各节点状态信息 hdfs haadmin -getServiceState nn1 // 获取一个namenode节点的HA状态 hadoop-daemon.sh start namenode // 单独启动一个namenode进程 hadoop-daemon.sh s...原创 2018-08-04 15:39:01 · 316 阅读 · 0 评论