大数据
文章平均质量分 77
晚风_END
擅长自动化运维,擅长编写各类shell脚本,Python脚本,高级运维工程师,Python全栈工程师。
展开
-
elasticsearch|大数据|低版本的elasticsearch集群的官方安全插件x-pack的详解
编译出来的jar包以及安装包什么的都在百度盘里,有需要的自取试用。重新打jar 包后,每个节点的jar包都要替换掉。原创 2023-12-19 22:20:16 · 1773 阅读 · 0 评论 -
elasticsearch|大数据|kibana的安装(https+密码)
【代码】elasticsearch|大数据|kibana的安装(https+密码)原创 2023-12-15 23:50:27 · 1163 阅读 · 0 评论 -
elasticsearch|大数据|elasticsearch的api部分实战操作以及用户和密码的管理
只在master节点生成,然后拷贝到其它节点即可,scp命令或者什么其它的方式都可以,不得在其它节点自己生成。原创 2023-12-10 23:43:19 · 1400 阅读 · 0 评论 -
elasticsearch|大数据|elasticsearch低版本集群的部署安装和安全增强---密码设置问题
【代码】elasticsearch|大数据|elasticsearch低版本集群的部署安装和安全增强---密码设置问题。原创 2023-12-10 11:56:46 · 1411 阅读 · 0 评论 -
原生大数据|elasticSearch|低版本kibana组件的汉化
大数据的范畴里包括EFK|ELK,这些套件安装部署是非常的成熟,因此是比较好部署安装的,一般的,困难出现在部署完成后的运营和维护。kibana这个组件的版本低于7我们就应该认为这个版本是一个低版本,主要原因在于现在的生产版本一般是使用7以上的,以获得更多的功能和性能方面的优化。原创 2023-03-23 12:58:31 · 909 阅读 · 0 评论 -
frequency file /var/lib/ntp/drift/ntp.drift.TEMP: Permission denied 的解决方案
问题背景:测试服务器上部署ambari大数据平台后,发现METRICS COLLECTOR服务出现问题,该服务不能启动成功,有博文指出是ntpd服务有问题,因此,查看了ntpd服务的状态,状态如下:[root@slave2 root]# systemctl status ntpd● ntpd.service - Network Time Service Loaded: loaded (/usr/lib/systemd/system/ntpd.service; enabled; vendo.原创 2022-04-10 18:17:22 · 3180 阅读 · 0 评论 -
ambari 提高安全性--修改默认访问端口,admin密码
ambari通常默认的端口是8080,默认端口通常是不安全的,在生产环境也是极有可能是被占用的,因此,我们应该使用自定义的端口。ambari的超级用户是admin,该用户的默认密码也是admin,也是非常的不安全(有心人随便一试就登录进平台是非常不安全的),因此,为了大数据平台的安全,也是应该在搭建好后就立刻修改密码的。那么,针对以上两个问题,我们应该如何设置呢?一,默认端口的修改方法在ambari-server的安装所在服务器,修改ambari-server的主配置文件,在此文件末尾添原创 2022-04-10 11:15:32 · 4589 阅读 · 0 评论 -
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
Ambari简介Ambari概述Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等;除此之外,Ambari还支持Spark、Storm等计算框架及资源调度平台YARN。Apache Ambari 从集群节点和服务收集大量信息,并把它们表现为容易使用的,集中化的接口:Ambari Web.原创 2022-03-22 09:16:27 · 3847 阅读 · 2 评论 -
ambari安装部署HDFS--添加DataNode节点和nfsgateways(二)
书接上回,HDFS集群实验时使用的是三台服务器,服务器名称分别是hdp1.com,hdp2.com,hdp3.com。但,DataNode并没有选择在所有机器上安装,并且,journalnodes和nfsgateways也没有安装,因此,本文将着重讲述添加DataNode节点和journalnodes和nfsgateways节点。首先,应该知道,hdp3.com 这个服务器是安装了DataNode,其余两个并没有,因此,想在其他服务器上安装,我们应该在ambari的管理界面点击hosts。一,原创 2022-03-20 18:22:15 · 710 阅读 · 0 评论 -
ambari安装HDFS组件(一)
ambari作为全球顶尖的Hadoop大数据组件快速部署和部署后的管理,还是非常的NB的,简单易用是它的重大特性。在学习大数据的时候,ambari的安装集群会将一大部分人劝退,其实原因倒不是太复杂,而是很多同学安装集群的时候都是一路默认,正确的部署方式应该是从最小化集群搭建开始,然后逐步逐级的部署。这么说可能很多人还是不太明白,请看下图:先将zookeeper组件安装完毕后,在根据自己的需要逐渐的安装丰富大数据的各个组件,并在部署阶段不停的调试测试大数据。那么,如果像我上图一样只安装zook原创 2022-03-20 17:36:15 · 2907 阅读 · 0 评论 -
ambari smartsense gateway is not active--删除smartsense
smartsense是hortonworks一个商业的组件功能,作用是监控集群,并提供建议,建议是不使用。通常,此组件是安装ambari的时候的一个必选项,也就是说在安装ambari的时候它就强制绑定安装了。那么,如何不安装它或者说安装完Hadoop集群后将这个组件删除呢?有两种方法,第一是在安装集群前,清除smartsense相关组件,第二是在安装集群后,通过ambari管理界面删除,第三是通过ambari的api命令方式删除并清除相关文件。一,安装集群前,离线安装包内删除smartsense组件原创 2022-03-20 16:06:21 · 3460 阅读 · 0 评论 -
VMware vCenter Converter Standalone 远程的Windows物理机转虚拟机
VMware vCenter Converter Standalone这个软件是p2v的专用软件,有时候我们可能有这样的需求:一台Windows服务器,原服务器可能比较老旧,其上的服务和一些数据又比较重要,因此,需要做迁移兼具备份。通常,把原来的物理机Windows转换成虚拟机,有如下好处:1,数据和服务全量备份2,多台物理Windows服务器整合到一个宿主机内,节约资源3,便于管理,只要管理好宿主机,那么,原服务和数据都可以保存好4,易于回滚,如果有更新了,提前在宿主机上打好快照,即使出.原创 2021-11-01 23:33:30 · 9290 阅读 · 0 评论 -
centos7脚本离线化安装CDH6.3版本(ansible闪亮登场~~~)
centos7脚本离线化安装CDH6.3版本(ansible闪亮登场~~~)CDH好不好,毋庸置疑,具体体现在该平台是闭源的。逻辑是这样的:既然敢闭源,那么,说明这平台确实好用,闭源都不怕挣不到钱。当然,作为大数据平台管理平台之一的CDH好像也有底气闭源啦。软件开或者闭源,都只是它的一种运营模式,在此,不过多评价。CDH有三种使用形式,第一,白嫖,功能砍了很多,第二,免费试用期限,免费期内和收费的版本一样功能,过期了砍成白嫖功能。第三,付费版本,所有功能都开放,如何选择,不在本文讨论范围,文章.原创 2021-07-08 18:02:10 · 736 阅读 · 0 评论 -
安装CDH6.3版本的时候遇到 ‘ERROR main:com.cloudera.server.cmf.Main: Server failed’的解决方案
安装CDH6.3版本的时候遇到 ‘ERROR main:com.cloudera.server.cmf.Main: Server failed’的解决方案在安装CDH大数据平台的cm-server启动的时候遇到一个错误,该错误日志文件位置为:/var/log/cloudera-scm-server/cloudera-scm-server.log错误日志部分截取如下:2021-07-02 02:14:40,154 ERROR main:com.cloudera.server.cmf.Main: ..原创 2021-07-02 14:15:58 · 1859 阅读 · 0 评论 -
大数据学习之使用ambari动态添加主机的详细步骤
大数据学习之使用ambari动态添加主机的详细步骤ambari是一个管理Hadoop的十分强大的工具,我想,大数据之所以大,就是数据多呗,那么在实际的生产中,能够动态的添加服务器到Hadoop集群内是十分必要的一件事情。实验环境如下:本次实验环境清单 IP地址 CPU 内存 系统版本 192.168.88.11 4核2CPU 8G CentOS Linux release 7.7.1908 (Core 192.168.88.12 4核2CPU.原创 2021-06-30 23:39:41 · 1068 阅读 · 4 评论 -
ambari发布新服务(HDP自带的服务)流程简介
ambari发布新服务(HDP自带的服务)流程简介首先介绍一下,我安装的HDP并没有安装全部服务,比如HBASE,hive这样的就没有安装。查询现在有安装哪些服务也很简单:ambari的dasboard--->config history,如下图:以新安装HBASE为例,如下图所示:进去后,发现需要七步:一二三四五六七安装完新的HBASE服务后,需要将所有服务重启一次,重启方法见下图:...原创 2021-06-29 22:15:26 · 371 阅读 · 1 评论 -
hadoop集群离线化搭建(利用HDP快速搭建大数据集群)
一 ansible的离线安装链接:https://pan.baidu.com/s/1dKlwtLWSOKoMkanW900n9Q提取码:ansi相关安装方法详见本人的另一个博客:ansible2.9.18 centos7 x86_64系统下的完全rpm离线安装按照以上博客安装即可首先需要说明的是,本次安装教程使用三台虚vm拟机搭建Hadoop集群,相关服务器的具体信息如下:192.168.0.164G内存,4CPU,100G硬盘192.168.0.174G内存,4CP原创 2021-06-27 00:28:59 · 1360 阅读 · 1 评论