- 博客(122)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 ambari-server rest api 操作服务
获取所有主机 curl -u admin:admin -i -H X-Requested-By:ambari -XGET http://hadoop-1:8080/api/v1/clusters/hdp_offline/hosts 2. 查看所有的components curl -u admin:admin -i -H X-Requested-By:ambari -XGET http://hadoop-1:8080/api/v1/clusters/hdp_offline/components .
2022-05-11 22:34:10
458
原创 ambari-serve Received Exception while testing connectivity to the KDC: Algorithm AES256 not enabled
一、确定ambari-server jdk 路径方法（ 如果已知ambari-server jdk 路径可跳过该步骤） ps aux |grep -v grep |grep java |grep ‘ntroller.AmbariServer’ 二、将附件内jar包US_export_policy.jar 和 local_policy.jar解压到/usr/local/jdk1.8.0_141/jre/lib/security/目录下，如下如所示 三、 重启ambari-server ambari-se
2022-05-07 23:26:27
697
原创 kadmin.local 批量添加及下载keytab
主脚本 add_princ-download_keytabs.sh #! /bin/bash base_dir=/etc/security/keytabs counter=1 while read host_name princ k_name user_name; do echo "$counter ==>> ${host_name} ${princ} ${k_name} ${user_name}" [ ! -d ${base_dir}/${host_name} ] &am
2022-05-07 21:30:31
861
原创 mapreduce 数据倾斜解决方法
下面列举了一些常见的导致数据倾斜的场景。 场景 1 ： 当一个大表和一个小表 join 时， 如果小表的 key 较集中，将会引起大表中的数据被分发到一个或者少数几个 Reducer 任务中，导致数据分布不均匀。 场景 2： 在 group by 时，如果分组的维度太少，维度的值分布不均匀，将导致数据分布不 均匀。 场景 3： 当大表与大表关联时，在关联的条件字段中，其中一个表的空值、 null 值过多， 将导致数据分布不均匀。 针对数据倾斜，业界一般有以下几种解决方案。 1 . 调节参数 可以通过修改 h
2022-05-05 20:44:42
2374
原创 centos mysql 5.7+ 忘记密码
停止mysqld 进程: systemctl stop mysqld 修改mysqld 运行环境参数，跳过密码输入环节: systemctl set-environment MYSQLD_OPTS=“–skip-grant-tables” 启动mtsqld 进程: systemctl start mysqld root 免密登录: mysql -u root 重置密码: 方式一、 mysql> UPDATE mysql.user SET authentication_string .
2022-05-04 20:49:41
1053
原创 centos 7.9 卸载openldap 后yum不可用
一、OpenLdap卸载 #停止openldap systemctl stop slapd systemctl disable slapd #卸载 yum -y remove openldap-servers openldap-clients #删除残留文件 rm -rf /var/lib/ldap //删除ldap用户 userdel ldap #删除openldap目录 rm -rf /etc/openldap 或者执行强制卸载: yum list installed |grep ldap # 查询
2022-01-13 17:15:10
639
原创 myeclipse 创建spring boot 项目
第一步： myeclipse File > New > Project，New选择创建project项目 在这里插入图片描述 第二步：选择Maven Project 后点击 Next 第三步： 注意勾选create a simple project(skip archetype selection)//创建一个简单的项目跳过原型选择，并根据个人情况选择代码存放空间，配置完成后点击Next 第四步： groupid和artifactId被统称为“坐标”是为了保证项目唯一性而提出的，如果你要
2022-01-07 10:04:06
2293
原创 openldap 常用命令
ldapsearch ldapsearch -x -H 'ldap://ip:389' -b ou=Project,dc=bigdata,dc=com #查询所有的Project 附： http://wiki.shileizcc.com/confluence/pages/viewpage.action?pageId=39223517
2021-11-17 13:44:30
321
原创 hadoop balance 报错： “KDC can‘t fulfill requested option while renewing credentials“
到kerberos server 所在机器执行： kadmin.local -q ‘getprinc hdfsxxxxxxx’ # 查看输出内容中Maximum renewable life 对应的是不是 0day 00:00:00, 如果是0day，则执行 kadmin.local -q 'modprinc -maxrenewlife 7d hdfsxxxxxx" 进行principal renew_lifetime 的更新 ...
2021-10-29 16:56:58
3092
原创 No suitable device found for this connection (device lo not available because device is strictly unm
当执行 ifup ens33 出现错误： [root@localhost ~]# ifup ens33 Error: Connection activation failed: No suitable device found for this connection (device lo not available because device is strictly unmanaged). 解决办法： [root@localhost ~]# chkconfig NetworkManager off No
2021-09-28 16:21:36
11752
6
原创 Ambari平台添加节点
Ambari平台添加节点 一、安装 1.1 环境准备 服务器系统安装； 服务器环境配置； 1.2 Jdk安装 下载并安装jdk(注意jva版本和Ambari版本的对应) 安装方式：下载安装包jdk-8u162-linux-x64.tar.gz后本地安装 创建java目录 mkdir /usr/java 将压缩包移动到新建目录 mv xx/xx/jdk-8u162-linux-x64.tar.gz /usr/java 解压文件 tar -zxvf jdk-8u162-linux-x64.tar.g
2021-09-28 15:05:41
1419
原创 centos kerberos 主从同步搭建
一、 主机规划 主机ip 服务部署 192.168.88.130 kdcmaster 192.168.88.131 kdcslave 二、安装过程 192.168.88.130 操作如下 2.1 192.168.88.130 安装 # yum -y install krb5-libs krb5-devel krb5-server krb5-workstation 1 2.2 192.168.88.130 修改配置文件如下 cat /etc/krb5.conf #Con
2021-09-16 11:06:00
537
原创 Hadoop Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-er
部署规划表 服务器ip 部署的服务组件 aa aaaa – – aa aaaa – – aa aaaa 环境初始化配置 1.1 双向免密配置 1.2 主机名配置 1.3 安装jdk 及 程序包 1.4 Hadoop 配置调整 （配置文件默认位置 $HADOOP_HOME/etc/hadoop 下面） slaves hadoop-1 hadoop-2 hadoop-3 hadoop-env.sh **新增内容**： export JAVA_HOME=/usr/l
2021-07-23 14:51:01
1057
原创 hadoop start-dfs.sh Error: JAVA_HOME is not set and could not be found
执行 start-dfs.sh 报错如下 localhost: Error: JAVA_HOME is not set and could not be found. localhost: Error: JAVA_HOME is not set and could not be found. vim ~/.bashrc 添加内容 export JAVA_HOME=/usr/local/jdk1.8.0_141 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_P
2021-07-12 20:53:03
1332
转载 hadoop ha集群搭建
转载地址 https://blog.csdn.net/qq_22917163/article/details/99726899
2021-04-30 15:14:00
200
1
原创 mysql select into outfile 导出查询数据
SELECT * FROM 库名.表名 INTO OUTFILE ‘/tmp/record.txt’ CHARACTER SET gbk FIELDS TERMINATED BY ‘\、’ OPTIONALLY ENCLOSED BY ‘"’ LINES STARTING BY ‘>’ TERMINATED BY ‘\r\n’;
2021-04-20 15:00:55
238
原创 2021-04-16
k8s Master节点介绍 Master是Kubernetes Cluster的大脑，运行着的Daemon服务包括 kube-apiserver、kube-scheduler、kube-controller-manager、etcd和Pod 网络（例如flannel）， 如图 API Server（kube-apiserver） 介绍 API Server提供HTTP/HTTPS RESTful API，即Kubernetes API。 API Server是Kubernetes Cluster的
2021-04-16 12:13:17
211
原创 kubeadm init初始化时报错failed to pull image “k8s.gcr.io/kube-apiserver:v1.21.0“: output: Error response f
问题原因： 因为k8s master 初始化的时候，执行命令 kubeadm init 。。。 要下载k8s.gcr.io的docker镜像，但是国内连不上https://k8s.gcr.io/v2/。 解决思路： 从阿里云镜像云下载kubeadm需要的镜像 kubeadm config images pull --image-repository=registry.aliyuncs.com/google_containers 修改镜像名称 修改前如下： 修改后如下： k8s 搭建参考链接
2021-04-16 11:29:07
5633
原创 国内源安装k8s
国内源 ubuntu 16.04 / Debian $ apt-get update && apt-get install -y apt-transport-https $ curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - $ cat </etc/apt/sources.list.d/kubernetes.list deb https://mirrors.aliyun.com/
2021-04-15 19:01:00
571
原创 2T 以下和2T以上的硬盘如何分区与格式化
摘自移动云 ： https://ecloud.10086.cn/op-help-center/doc/article/24633 1.linux云主机使用MBR分区 (1) 用户使用VNC或者SSH方式登录云主机，输入root和云主机密码，完成登录。 (2) 执行云硬盘分区 1)用户输入fdisk -l，可查看当前磁盘情况，用户会发现/dev/vdb，如用户没有发现该目录则表示用户的云主机当前没有数据盘，也就不需要执行后续的挂载操作。 2)用户在命令窗口输入fdisk /dev/vdb，对数据盘进行
2021-04-09 18:07:03
1608
原创 pip3 重装
wget https://bootstrap.pypa.io/pip/3.5/get-pip.py python3 get-pip.py --force-reinstall pip3 -V
2021-04-09 10:14:42
805
原创 excel单元格内的行数统计
在需要显示行数的但愿格内输入表达式： =LEN(S2)-LEN(SUBSTITUTE(S2,CHAR(10),""))+1
2021-04-09 10:13:57
2789
原创 centos 安装tinyproxy 代理
安装 (服务器ip 33.22.33.22) yum -y install tinyproxy 配置文件 /etc/tinyproxy/tinyproxy.conf User root Group root Port 8888 Timeout 600 DefaultErrorFile "/usr/local/tinyproxy/share/tinyproxy/default.html" StatFile "/usr/local/tinyproxy/share/tinyproxy/stats.
2021-04-06 16:18:01
1187
原创 linux pip命令重装
移除旧的pip 命令 apt-get remove python-pip python3-pip pip 安装脚本下载及pip 安装 2.1 wget https://bootstrap.pypa.io/pip/2.7/get-pip.py #下载python2.7 对应的脚本，如果是3.5 url中的版本号调整为3.5即可，以此类推。 2.2 python2 get-pip.py #安装 ...
2021-04-06 15:02:20
929
原创 服务器实现秘钥文件登录配置-sshd_config 配置文件
Port 12022 # 自定义ssh监听端口 PermitRootLogin yes #允许root登录 AuthorizedKeysFile .ssh/authorized_keys #公钥记录存储文件 PasswordAuthentication no #禁止密码授权登录 Subsystem sftp /usr/local/libexec/sftp-server
2021-03-25 11:34:24
554
原创 mysql主从复制恢复
1062错误——主键冲突，出现这种情况就是从库出现插入操作，主库又插入相同的数据，iothread没问题，sqlthread出错。 问题解决思路： 主节点导出备份数据 从节点恢复数据 主节点导出备份数据 mysqldump -uroot -p假装有密码 -R --triggers --all-databases --master-data --single-transaction > all_db-20210324.sql 从节点数据恢复 2.1 stop slave; .
2021-03-24 17:22:45
283
原创 linux服务器修改用户密码到期时间
chage命令介绍： 【语法】 chage [选项] 用户名 【选项】 -m：密码可更改的最小天数。为零时代表任何时候都可以更改密码。 -M：密码保持有效的最大天数。 -w：用户密码到期前，提前收到警告信息的天数。 -E：帐号到期的日期。过了这天，此帐号将不可用。 -d：上一次更改的日期。 -i：停滞时期。如果一个密码已过期这些天，那么此帐号将不可用。 -l：例出当前的设置。由非特权用户来确定他们的密码或帐号何时过期。 查看某个用户的密码状态 #chage -l root.
2021-03-22 14:41:41
1065
原创 fastdfs + rsync 文件同步
需求说明： fastdfs 文件同步： 将环境1fastdfs 的数据同步到环境2； 同步思路： 将环境1的 /fastdfs/storage/data 同步到环境2 /fastdfs/storage/ 下面（tracker目录不需要操作）； 操作步骤： 登录环境1 fastdfs 服务器执行rsync命令(bwlimit 限速 5000KBPS) rsync -auzv --bwlimit=5000 --progress -e 'ssh -p 22' /fastdfs/storage/data
2021-03-08 16:02:58
704
原创 mysqldump 导出多个库结构数据及函数、存储过程、触发器
mysqldump 参数 -d 结构(--no-data:不导出任何数据，只导出数据库表结构) -t 数据(--no-create-info:只导出数据，而不添加CREATE TABLE 语句) -n (--no-create-db:只导出数据，而不添加CREATE DATABASE 语句） -R (--routines:导出存储过程以及自定义函数) -E (--events:导出事件) --triggers (默认导出触发器，使用--skip-triggers屏蔽导出) -B (--databases:
2021-03-04 17:13:34
508
3
原创 mysqldiff两台数据库对比
数据库database层级的对比： mysqldiff --server1=root:密码@ip1:端口 --server2=root:密码@ip2:3306 --changes-for=server2 --difftype=sql --force ip1的库名:ip2的库名 数据库表数据层级的对比： mysqldiff --server1=root:密码@ip1:端口 --server2=root:密码@ip2:3306 --changes-for=server2 --difftype=sql
2021-03-03 16:40:53
447
1
原创 SpringBoot打包出错：Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resource
<plugins> ......省略..... <!-- 添加下文或者修改版本号为2.4.4 --> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-resources-plugin</artifactId> <versio...
2021-02-19 15:28:47
277
原创 zabbix 表结构： triggers中expression 对应的信息
select * from triggers where triggerid=‘15653’; select * from functions where functionid =‘17730’; select * from items where itemid = ‘28288’;
2021-02-18 11:06:06
578
原创 springmvc pom.xml 文件依赖
pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org
2021-02-10 14:23:11
537
2
原创 ubuntu python2安装pymysql
需要三步走： 1、下载pymysql包 wget https://files.pythonhosted.org/packages/44/39/6bcb83cae0095a31b6be4511707fdf2009d3e29903a55a0494d3a9a2fac0/PyMySQL-0.8.1.tar.gz 2、解压 tar -zxvf PyMySQL-0.8.1.tar.gz 3、安装 进入PyMySQL-0.8.1目录,执行： python2 setup.py install 最后可以通过pip list
2021-02-08 16:18:52
481
python2 监控ssl 证书过期邮件提醒
2020-10-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人