y小鱼-CSDN博客

原创 No space left on device 解决Linux系统磁盘空间满的办法

No space left on device

2022-06-13 12:03:34 2616

原创普通用户crontab任务不执行

普通用户crontab任务不执行

2022-06-13 11:44:39 1906

原创 namenode意外退出-journal

namenode报错相关：flush failed for required journal

2022-06-13 11:26:16 237

第一步，克隆一个服务器环境第二步，修改主机名hostnamectl set-hostname s4.hadoop第三步，修改ipvim /etc/sysconfig/network-scripts/ifcfg-<网卡的硬件名称>cd /etc/sysconfig/network-scripts/vim ifcfg-ens33注意修改完文件之后用systemctl restart network.service重启网络服务，当前的ssh就连接不上了，是因为网络IP被改变成你自己设

2020-10-13 16:55:31 1110

原创 MySQL Access denied

重置密码解决MySQL for Linux错误 ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: YES)一般这个错误是由密码错误引起，解决的办法自然就是重置密码。假设我们使用的是root账户。1.重置密码的第一步就是跳过MySQL的密码认证过程，方法如下：#vim /etc/my.cnf(注：windows下修改的是my.ini)在文档内搜索mysqld定位到[mysqld]文本段：/m

2020-10-13 16:55:18 3388

原创 cloudera manager的重建

cm的重建难题cdh的cm节点完全挂掉之后，根据：https://www.bbsmax.com/A/nAJv0kGdrk/https://community.cloudera.com/t5/Cloudera-Manager-Installation/cloudera-manager-database-lost/td-p/31989的说明，本来打算进行重建式的恢复。但此方法隐藏的风险巨大，包括已经运行了很久的集群配置，有不少的变化，很难保证完全还原。另外，我们的cdh这次要修复的情况，和网上的情

2020-10-12 10:40:28 399 1

原创 cdh安装失败重新安装

1> 进入主节点的Mysql数据库，然后drop database cm;2> 删除Agent节点namenode和datanode节点信息 # rm -rf /data/dfs/nn/* # rm -rf /data/dfs/dn/*3> 在主节点上重新初始化CM数据库/usr/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost

2020-10-12 10:38:51 287

原创集群mysql安装详解

1.检测系统是否已经安装过mysql或其依赖，若已装过要先将其删除，否则第4步使用yum安装时会报错： yum list installed | grep mysqlmysql-libs.i686 5.1.71-1.el6 @anaconda-CentOS-201311271240.i386/6.5 yum -y remove mysql-libs.i686#查看是否已安装rpm -qa|grep mariadb#卸载rpm -e mariadb-libs-5.5.5

2020-10-12 10:32:01 115

原创 CDH5.13.3集群搭建

新集群10.96.29.109 hd-slave-01810.96.29.110 hd-slave-01910.96.29.111 hd-slave-02010.96.29.132 hadoop-slave-008 archive.cloudera.com10.96.29.133 hadoop-slave-00910.96.29.135 hadoop-slave-01110.96.29.136 hadoop-slave-01210.96

2020-10-12 10:25:19 298

原创 ldap修改管理员密码操作已测可用

1、使用ldapsearch命令查询管理员的dnldapsearch -H ldapi:// -LLL -Q -Y EXTERNAL -b “cn=config” “(olcRootDN=*)” dn olcRootDN olcRootPW2、使用slappasswd生成密码slappasswd -s 1234563、使用ldapmodify修改条目ldapmodify -Y EXTERNAL -H ldapi:///dn: olcDatabase={2}hdb,cn=configrepl

2020-10-12 10:11:05 1240 1

原创 ldap二进制安装

1.解压安装包： tar -xf openldap.tar.gz -C /usr/local/修改配置文件：/usr/local/openldap/etc/openldap/slapd.conf24行这里地址要改 referral ldap://172.24.215.1152行这里域名要改 access to dn.subtree=“dc=bingsheng,dc=tc-sit”55行这里面的serverID 是集群节点的编号，集群的成员节点的serverID不能相同，编号向上加1即可。7

2020-10-12 10:10:51 323

原创 cdh5.3.2集群搭建

机器列表：10.50.1.37 cdh-test01 （跳板机，你们从这台登录）10.50.1.38 cdh-test0210.50.1.45 cdh-test0310.50.1.70 cdh-test0410.50.1.84 cdh-test05目前系统盘是50G 数据盘是50G配置每个机子的host关闭iptables$ service iptables stop$ chkconfig iptables off关闭SELINUX$ vim /etc/selinux/co

2020-10-12 10:10:31 127

原创 cdh重启报错SqlExceptionHelper

启动服务cloudera-scm-server时会遇到过一段时间自己挂掉，并返回cloudera-scm-server dead but pid file exists的问题。查看日志文件报错信息cat /var/log/cloudera-scm-server/cloudera-scm-server.log|grep ERRORrm -rf /var/run/cloudera-scm-server.pidservice mysqld restartservice cloudera-scm-s

2020-10-12 10:10:11 265

原创 cdh升级版本冲突

cm升级版本为5.14.2，agent版本为5.13.3yum list | grep cloudera4.列出所有已安装的软件包命令：yumlist installed卸载5.14.2yum remove cloudera-manager-agent.x86_64 5.14.2-1.cm5142.p0.8.el6yum remove cloudera-manager-daemons.x86_64 5.14.2-1.cm5142.p0.8.el6yum remove cloudera-m

2020-10-12 10:09:48 125

原创 CDH5.13.3集群降级操作

1.数据备份mysql备份文件在hadoop-slave-016 /data/mysql_backup/目录下mysqldump -uroot -p123456 scm > /data/mysql_backup/scm-backup-5.13.3-20180515.sqlmysqldump -uroot -p123456 metastore > /data/mysql_backup/metastore-backup-5.13.3-20180515.sqlmysqldump -uroot

2020-10-12 10:09:31 203

原创 ldap搭建主主同步--已测可用-centos7

经过验证以下步骤：domain.ldifbasedomain.ldif可重复执行刷新配置，包括修改密码可直接刷新为新密码。注意只能在basedomain.ldif没运行之前可更新domain配置。2台均全部安装Centos 7 下安装LDAP 双主同步一，安装步骤（两台机器均执行）安装OpenLDAP非常简单，直接安装这3个东西就够了，甚至运气好的话，也许你的操作系统已经自带安装好了：yum install openldap openldap-clients openldap-server

2020-10-11 18:07:35 503

原创 kerberos命令

使用kadmin.local命令登录或者kadmin认证 klinit admin/admin查看命令列表：?查看已经存在的凭据：list_principals, listprincs, get_principals, getprincs添加凭据：add_principal, addprinc, ank#添加principaladdprinc -randkey hadoop/172.24.215.5addprinc -randkey hadoop脚本执行如下：kadmin.local

2020-10-11 17:57:07 2431

原创 hadoop配置kerberos

服务器配置kerberos服务注意一下配置@后面的域名为kerberos配置域名，文件路径以实际为准hdfs-site.xml/usr/local/service/hadoop/etc/hadoop/hdfs-site.xml"dfs.namenode.kerberos.principal", "hadoop/_HOST@" + realm(kerberos域名)"dfs.namenode.keytab.file", "/etc/security/keytab/emr.keytab","dfs.

2020-10-11 16:42:56 944

原创创建keytab用户和对应的文件脚本

使用：sh kdc.sh 用户名#!/bin/bash# 本脚本目的是为了创建keytab用户和对应的文件function create_user_principal(){ kadmin.local -q "addprinc -randkey $1" &>/dev/null}function create_keytab_file(){ kadmin.local -q "xst -norandkey -k $1.keytab $1" &>/dev/nul

2020-10-11 16:38:06 835 1

原创 kerbero更改加密类型已测可用

更改之前先备份principal，或者记录现有环境的principal，更改完之后重新添加/usr/sbin/kdb5_util dump /cfs/backup.dumpkadmin.locallist_principals1.修改kerberos服务器（主从的话2台都要修改）kdc.conf文件vim /var/kerberos/krb5kdc/kdc.conf[logging] default = FILE:/data/emr/krb5/krb5libs.log kdc =

2020-10-11 16:36:20 1558

原创 kerberos搭建完整实操主备已测试

2台机子都安装yum -y install krb5-libs krb5-server krb5-workstation配置/var/kerberos/krb5kdc/kdc.conf创建/data/emr/krb5文件夹[logging] default = FILE:/data/emr/krb5/krb5libs.log kdc = FILE:/data/emr/krb5/krb5kdc.log admin_server = FILE:/data/emr/krb5/kad

2020-10-11 16:32:38 471

转载 Flink面试题大全(建议收藏)

概述2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。时至今日，Flink 已经发展到 1.9 版本，在大数据开发领域，面试中对于 Flink 的考察已经是大数据开发求职者必须面对的，本文结合自己作为面试官过程中的经验详细总结了近 50 个关于 Flink 的面试考察点。在本文中，

2020-10-11 16:02:41 5821 1

记录工作所遇问题及个人概念理解

原创 hdfs读流程和写流程

原创 hadoop yarn资源调度

原创更改Centos6的yum源

原创 No space left on device 解决Linux系统磁盘空间满的办法

原创 linux ssh连接慢

原创普通用户crontab任务不执行

原创进程超时，设置进程超时时间

原创限制用户远程登录

原创 linux增加ssh用户连接数