- 博客(17)
- 收藏
- 关注
RSS订阅原创 监控建设07influxdb建设
解压软件包tar -xf influxdb-1.7.7_linux_amd64.tar.gz修改配置文件（可删除原文件，按照我下方复制）[meta]dir = "/opt/apps/influxdb/meta" #meta存放地址[data]dir = "/opt/apps/influxdb/data" #数据存放地址wal-dir = "/opt/apps/influ...
2019-09-17 08:35:31
241
原创 监控建设06telegraf建设
解压telegraftar xvf telegraf-1.11.1_linux_amd64.tar.gz修改配置文件[root@bigdata3 telegraf]# pwd/opt/apps/telegraf/etc/telegraf[root@bigdata3 telegraf]# cp telegraf.conf telegraf.conf.bak可清空原配置，拷贝下...
2019-09-16 14:00:06
346
原创 监控建设05dingtalk搭建
解压golang安装包tar xvf go1.12.5.linux-amd64.tar.gz添加环境变量vi /etc/profile在文件末尾追加export GOROOT=/opt/apps/goexport PATH=$PATH:$GOROOT/bin#$HOME = /opt/apps/goexport GOPATH=$HOME/gopath刷新配置...
2019-09-11 10:37:49
466
原创 监控建设04alertmanager搭建
1、alertmanager搭建解压安装包[root@bigdata3 monitor]# tar xvf alertmanager-0.17.0.linux-amd64.tar.gz[root@bigdata3 monitor]# mv alertmanager-0.17.0.linux-amd64 alertmanager备份模板配置[root@bigdata3 monit...
2019-09-09 10:20:45
983
原创 监控建设03 prometheus搭建
1、创建监控程序目录[root@bigdata3 opt]# mkdir /opt/monitor2、导入软件[root@bigdata3 monitor]# ll总用量 321032-rw-r--r--. 1 root root 23631797 7月 3 2019 alertmanager-0.17.0.linux-amd64.tar.gz-rw-r--r--. 1 r...
2019-09-06 14:07:18
173
原创 监控建设02物理机配置
1、关闭机器上selinux[root@bigdata3 ~]# cat /etc/selinux/config# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security pol...
2019-09-06 14:06:07
147
原创 监控建设01概述
公司最近迭代了新的监控系统，把思路记下来。大概有9篇文章。本次监控搭建是结合本公司实际情况进行的，下面是两篇描述文章。第一篇https://mp.weixin.qq.com/s?__biz=MzIyOTY1MDIyNw==&mid=2247487057&idx=1&sn=f56b4b8970dd6471cf6f1610ff9939f3&chksm=e8b...
2019-09-05 14:23:02
217
原创 MySQL一般性故障
最近一段时间也在搭建mysql集群，遇到了一些错误记录一下。安装报错1.报错：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock'解决方法：服务未正常启动或者未启动，如未正常启动查看报错日志，如未启动，需要启动服务，生成sock文件，报错消除。2.报错：...
2019-09-03 14:49:38
357
原创 日常FTP服务标准建设
背景：生产环境经常会有传输导数情况存在，应生产人员要求部署相关ftp服务。需要访问FTP服务端提供的资源时，可以使用专门的FTP客户端/管理工具（FTP命令程序、Filezilla图形工具），也可以使用Web浏览器、下载工具（比如wget）等支持FTP协议的通用软件。定位匿名访问FTP资源的地址形式如下：ftp://服务器地址/，对应服务器上的 /var/ftp/ 目录ftp:...
2019-09-02 15:35:12
301
原创 记一次集群job运行缓慢问题
业务人员反馈部分job运行缓慢，于是进行了统计观察，resource manager页面观察到如下现象1.作业比以前运行的时间变长具体大概是个别job平时1小时搞定，偶尔会出现2小时左右，集群计算资源也没打满状态。2.Job的日志中有以下WARN的信息2018-04-18 00:16:11,632 WARN [ResponseProcessor for block BP-&l...
2019-08-30 15:22:59
4723
1
原创 基于CDH5.13版本的集群YARN调优
YARN参数优化1、Mapreduce 提交复制mapreduce.client.submit.file.replicationmapreduce任务数据的副本数，默认是10，比普通HDFS文件的默认幅本数大很多，可能也是考虑到把输入数据放到更多的DN上，尽可能实现本地数据计算，但会增大数据量，更改为1个副本2、MapReduce 作业的最大尝试次数MapReduce 作...
2019-08-29 10:41:57
441
原创 集群客户端R语言的安装
最近公司开发人员需求R环境迫切，并且很多基于R语言的作业已经提交生产，于是尝试在集群各个接口机安装R语言环境以一台接口机为例，操作均在root下运行1、准备yum源清除掉自带yum源，从其他机器选取一个可用的yum源，主要是内网机器与外网不互通。2、安装如下yum -y install gcc-c++yum -y install gccyum -y install re...
2019-08-28 15:04:46
389
原创 基于CDH5.13版本的集群HDFS调优
做Hadoop集群维护大概有4年多了，其中有小三年都在维护cdh版本的集群，下面就千节点集群的HDFS调优写一下个人心得，大家可以给我指正错误的地方。1、dfs.block.size, dfs.blocksize该参数在5.13.1版本的cdh的默认块大小为128M，此参数事需要根据输入文件的大小以及计算是生产的map来总和考量。一般来说，文件大，集群数量少，还是建议将bl...
2019-08-27 09:54:31
766
原创 hadoop集群建设03用户入住
1、关闭防火墙新机器接口机分配下来后需要关闭防火墙[root@whx-1 ~]# systemctl stop firewalld.service && systemctl disable firewalld.service Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.servi...
2019-08-26 09:54:59
170
原创 hadoop集群建设02cdh5.13版本安装
1、修改hosts一批新机器采购上架以后需要安装操作系统，如果用于CDH集群的建设时要注意：新机器主机名称不要出现大写字母如DSJ字母，会在cm页面出现配置告警，与安全认证有关。如果集群启用kerberos时需要注意此事项[root@whx-1 ~]# cat /etc/hosts127.0.0.1 localhost192.168.1.1 whx-1192.168.1...
2019-08-23 11:01:05
303
原创 hadoop集群建设01物理机准备
物理机配置目前市面主流的物理机配置基本都为26核384g内存机器，盘的大小一般为4T*101、主机操作系统选择：center OS 7.4操作系统2、主机swap配置Linux系统中当内存使用到一定程度后会使用swap分区，这是由/proc/sys/vm/swappiness文件中的vm.swappiness 参数进行控制的，linux默认vm.swappiness=60但是...
2019-08-23 10:38:55
623
原创 Hadoop+yarn搭建
多机版生产环境搭建(HDFS+yarn)1.准备四台linux主机 2.配置每台虚拟机网卡eth0 [root@100 /]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:7D:83:D6 TYPE=Ethernet UUI
2017-09-14 10:47:47
696
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人