![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
集群部署
abothli
拥有五年的开发工作经验,曾从事过开发,分析,算法,人工智能,机器学习,运维的相关开发工作。
展开
-
cdh集群的重启过程
集群以cdh-5.9.0搭建,主节点在服务未停的情况下重启,重启后如何启动cdh服务? 进入cm目录cd /opt/cm-5.9.0/etc/init.d查看状态./cloudera-scm-server status重启server./cloudera-scm-server restart查看server状态./cloudera-scm-server statusserver状态稳定后,重启ag...原创 2018-06-29 15:31:36 · 11230 阅读 · 0 评论 -
centos7搭建elk日志分析系统
ELK环境:Vagrant 1.8.1CentOS 7.2 192.168.0.228Elasticsearch 2.3.2logstash 2.2.4Kibana 4.4.2filebeat 1.2.2topbeat 1.2.2 ELK安装 CentOS7系统配置 在开始安装elk之前,我们需要对CentOS7做一系列配置。CentOS7安装后默认没有安...原创 2018-12-28 15:23:11 · 2267 阅读 · 0 评论 -
CHD搭建的环境中,解决用户权限的问题
对CDH用户:对于文件夹/user,注意,这个文件夹的拥有者不是所谓的“root”。实际上,这个文件夹为“hdfs”所有(755权限,这里将hdfs理解为一个属于supergroup的用户)。 所以,只有hdfs可以对文件夹进行写操作。与Unix/Linux不同,hdfs是超级使用者(superuser),而不是root。 因此更改其权限为root。所以,你可以向这个文件夹随意的存、...原创 2018-08-23 21:21:02 · 578 阅读 · 0 评论 -
CDH内存分配参考
基于以下环境提供参考值: 5台内存32G、cpu8核的服务器,操作系统为centos6.8 总内存: 160G 总核数: 40核 不同的环境可以根据自己环境的总内存以及总内核和这个参考值得出系数,那么:值= 推荐值 X 系数hdfs参数 解释 值 NameNode 的 Java 堆栈大小 Java 进程堆栈内存的最大大小,改Java进程主要是:维护整个系统的的文件...原创 2018-08-22 20:08:31 · 8453 阅读 · 2 评论 -
hadoop CDH集群漏洞导致服务器被攻击
一、背景5月5日腾讯云安全团队曾针对攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击,攻击者可以在未授权的情况下远程执行代码的安全问题进行预警,在预警的前后我们曾多次捕获相关的攻击案例,其中就包含利用该问题进行挖矿,我们针对其中一个案例进行分析并提供响应的安全建议和解决方案。二、漏洞说明Hadoop是一个由Apache基金会所开发的分布式系统基础架...原创 2018-08-19 17:10:53 · 3933 阅读 · 0 评论 -
在centos7离线安装CDH5.15
一、配置hostname和hosts1. 三台机器分别设置hostname为(需要重启ECS):master.bd.cn slave1.bd.cn slave2.bd.cn2. 然后三台的/etc/hosts统一配置如下映射:<master.bd.cn的内网IP> master.bd.cn<slave1.bd.cn的内网IP> slave1.bd....原创 2018-08-14 16:04:16 · 5414 阅读 · 1 评论 -
巡检服务器的shell脚本
#!/bin/bash #admin:spirits #***********CPU检测************* echo "`date '+%Y年%m月%d日 %H:%M:%S'` 数据库服务器硬件情况开始巡检。。。" top -bn 6 >>top grep -n "%i...原创 2018-07-11 01:55:54 · 2605 阅读 · 1 评论 -
Linux文件中每行后面加序号的脚本
awk '{print $0" "FNR}' tanzhen10-51-04 在每行后加序号原创 2018-07-11 01:56:06 · 4399 阅读 · 0 评论 -
HWI-hive web页面的搭建
hwi(hive web interface)是hive命令行接口的一个补充,主要功能包括:1.shema browsing :获取table的信息,包括serde、columen name、column type2.detached query execution:在hive命令行界面,用户如果需要执行多个查询,则需要同时打开多个命令行界面。hwi允许用户同时开始多个查询,并且查看执行状态。3...原创 2018-07-10 00:05:27 · 2077 阅读 · 0 评论 -
用Ambari一键部署大数据平台
安装前准备先明确几个概念:1. Ambari只能安装Hortonworks Data Platform,即Hortonworks的开源Hadoop,不支持Apach的Hadoop平台;2. 对于已经安装了Apach Hadoop或者其他Hadoop平台的,不能使用Ambari来管理;再说几个注意事项:1. Ambari默认的安装方式是使用yum,从远程下载HDP组件安装,而HDP平台安装...原创 2018-07-09 00:10:04 · 4369 阅读 · 0 评论 -
Cloudera Manager 5和CDH5离线安装
Cloudera Manager 5和CDH5离线安装 前期准备:13台centos6.7(虚拟机部署)=12台(CDH集群)+1台(LAMP展示机器)HostName IP master01 10.255.184.32 master02 10.255.184.33 slave01 10.255.184.34 slave02 10.255.184.35 slave03 10.255.1...原创 2018-07-08 00:02:13 · 1482 阅读 · 0 评论 -
oracle的搭建(10g)
vi /etc/yum.repos.d/base.repo [Base]name=basebaseurl=file:///mnt/Serverenabled=1gpgcheck=0gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release yum install -y binutils compat-dbcontrol-center gcc...原创 2018-07-07 00:31:21 · 823 阅读 · 0 评论 -
MySQL源码安装
一、scr 屏幕输出日志【方便查看执行过程中有没有错】二、【必须依赖包】rm -rf /etc/yum.repos.d/*cat <<EOF > /etc/yum.repos.d/base.repo[Base]name=basebaseurl=file:///mnt/Serverenabled=1gpgcheck=0gpgkey=file:///et...原创 2018-07-06 02:15:41 · 155 阅读 · 0 评论 -
什么是kafka?kafka的安装及使用
1、Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 KAFKA + STORM+REDIS l Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。l Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目...原创 2018-07-03 01:12:36 · 2065 阅读 · 0 评论 -
实时分析集群storm的部署(包括centos的具体安装)
1、安装虚拟机1.1、准备软件: 1、VMwareWorkstation 12.zip 虚拟机软件 2、CentOS-6.5-x86_64-bin-DVD1.iso 64位操作系统1.2、安装虚拟机软件 要想成功安装,务必删除掉已有的虚拟机软件1.3、安装操作系统l 运行虚拟机软件,点击软件右上角的文件,选择新建虚拟机,会弹出新建虚拟机向导页面...原创 2018-07-03 01:11:48 · 331 阅读 · 0 评论 -
redis主从复制+sentinel集群
1.Redis主从介绍主从服务就是用户在主服务器写入数据后,从服务器在写一份数据,一般用在如下场景:1、辅助实现备份2、高可用(主从复制只是redis高可用的前提)3、异地容灾4、分摊负载redis主从特点介绍:1、redis使用异步复制,从服务器会以每秒一次的频率向主服务器报告复制流的处理进度2、一个主服务器可以有多个从服务器,从服务器也可以有自己的从服务器3、复制功能不会...原创 2018-12-28 15:34:00 · 609 阅读 · 0 评论