- 博客(16)
- 收藏
- 关注
RSS订阅原创 sas2ircu、sas3ircu、MegaCli64、hpssacli 阵列卡工具使用
sas2ircu/sas3ircu 工具，适用于HUAWEI、Quanta、Inpur等品牌sas2ircu -h 查看帮助信息sas2ircu list 查看所有RAID控制器信息sas2ircu 0 display 查看第一块RAID控制器、物理磁盘、逻辑磁盘等详细信息，0代表RAID卡编号，如果有多块RAID卡，那么从0开始编号，以此类推；如果只有一块RAID卡，那么就是0。sas2ircu 0 status 查看第一块RAID控制器所有逻辑磁盘信息sas2ircu
2021-11-09 16:57:30
3394
原创 open-falcon单机版搭建
1.open-falcon搭建，包含服务端的前端、后端以及客户端https://www.jianshu.com/p/5e34699fe92f2.监控指标配置入门文档https://book.open-falcon.org/zh_0_2/usage/getting-started.html3.前端配置监控项首页-用户，即接收告警人-告警组-4.邮件、短信、微信接口文档接口文档：https://book.open-falcon.org/zh_0_2/distributed_ins
2020-08-24 16:45:16
314
原创 Cloudera Manager监控管理
1.在Cloudera Manager找到配置文件2.搜索关键词Alsert3.填写邮件相关信息4.设置好之后，告警样式
2020-08-21 15:51:25
421
原创 hive数据备份与恢复
hive 数据备份##数据准备hive> create table demo( > id int comment 'ID', > name string comment '名字') > row format delimited fields terminated by ',';OKTime taken: 0.18 secondshive> load data local inpath '/data/lilin/demo.txt' into ta
2020-08-11 16:11:22
1307
原创 hbase 数据、数据表被误删恢复、备份
hbase误删数据##创建名称空间hbase(main):006:0> create_namespace 'lilin_test'0 row(s) in 0.0920 secondshbase(main):008:0> list_namespaceNAMESPACE
2020-08-11 15:16:56
1344
转载 MySQL高可用-MHA搭建
本文中设计到的环境都是真实的腾讯云环境,下面设计到的虚拟IP需要使用腾讯云的高可用虚拟 IP前期准备三台服务器，分别为节点一、二、三，节点一为主服务器，节点二、三为从服务器，节点一： 172.27.0.13 （主）节点二： 172.27.0.11 （从–安装manager）节点三： 172.27.0.17 （从）在他们之间配置好基于gtid主从复制，可以参考MySQL主从复制（日志点和gtid）MHA是基于SSH服务的，所以我们先在集群的所有服务器中建立ssh免认证登录，这样使用ssh链接的时
2020-08-10 10:25:25
703
原创 flink 安装
1.准备工作##安装包https://downloads.lightbend.com/scala/2.12.12/scala-2.12.12.ziphttps://mirror.bit.edu.cn/apache/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.12.tgz2.安装步骤##解压安装包unzip scala-2.12.12.zip##配置环境变量export SCALA_HOME=/opt/scala-2.12.12export PA
2020-08-05 17:39:16
615
原创 CDH6.1.1+CM6.1.0版本安装过程及问题记录
准备工作1.安装包准备操作系统CentOS7.2IP100.73.13.[30-37]CDH6.1.1CM6.1.0JDK1.8.0_141MySQLmysql-5.1.72驱动mysql-connector-java.jar2.服务器初始化所有节点--##修改hostnamehostnamectl set-hostname jxq-100-73-13-30##修改网卡vi /etc/sysconfig/networkNET
2020-07-27 17:03:33
525
原创 DataX与DataX web入门
1.DataX3.0简介DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。当前使用现状DataX在阿里巴巴集团内被广泛使
2020-07-21 11:29:41
2620
2
原创 HBase 创建表hang住
1.问题描述业务需要创建一张hbase表，但create命令下发后，一直hang住；测试创建非risk名称空间下的一张表，发现是可以创建成功的，说明hbase服务正常2.问题分析查看HBase master日志，发现hbase临时文件中一直卡着业务方无权限创建表2020-07-15 14:56:20,895 WARN org.apache.hadoop.hbase.master.procedure.CreateTableProcedure: Retriable error trying to cre
2020-07-15 17:27:40
380
原创 HMaster启动选主超时，长时间没有master服务
1.现象描述集群修改参数后，需要hbase服务进行重启，发现重启后主master一直未选主成功2.原因分析查看hbase-master日志,发现日志一直在刷如下日志：查看/hbase/MasterProcWALs/下的日志文件及大小，发现日志文件差不多共112W个，日志大小约4.5Thadoop fs -ls /hbase/MasterProcWALs/hadoop fs -du -s -h /hbase/MasterProcWALsmaster在选主过程中会回放MasterProcW
2020-07-15 17:08:23
615
原创 HDFS、HBase、Hue等权限操作
HDFS文件ACL授权1.集群开启acl权限管控由参数dfs.namenode.acls.enabled控制2.授权流程##切换为超级用户hdfssu hdfs##授权之前，可查看库下有哪些用户已有权限，通过命令getfaclhadoop fs -getfacl $PATH##如：hadoop fs -getfacl /user/hive/warehouse/dw_tmp.db##acl授权，运行时间较长，可后台执行；执行完成后，通过上述getfacl命令进行验证hadoop fs -se
2020-05-28 11:11:02
970
原创 mysql-5.7.18 版本安装
1.选择你所需要的MySQL版本，从官网下载MySQL安装包，可下载到本地，或直接在服务器上下载：https://downloads.mysql.com/archives/community/或wget https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.18-linux-glibc2.5-i686.tar.gz2.目录信息版本mysql-5.7.18安装路径/data/mysql端口13307（可
2020-05-27 14:42:05
939
原创 CM 登陆失败，异常报错：cm Caused by: javax.persistence.PersistenceException: org.hibernate.exception.Gen
报错内容：1.登陆cm页面，发现无法登陆，并显示上面的异常信息2.查看日志，发现都是跟数据库相关cd /var/log/cloudera-scm-serverless cloudera-scm-server.log3.因cm使用的是自带的postgresql，查看cloudera-scm-server-db的状态，是否异常退出service cloudera-scm-server-db status4.结果发现数据库异常退出，启动db服务service cloudera-scm-server
2020-05-27 11:35:14
752
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人