- 博客(122)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 ambari-server rest api 操作服务
获取所有主机curl -u admin:admin -i -H X-Requested-By:ambari -XGET http://hadoop-1:8080/api/v1/clusters/hdp_offline/hosts2. 查看所有的componentscurl -u admin:admin -i -H X-Requested-By:ambari -XGET http://hadoop-1:8080/api/v1/clusters/hdp_offline/components.
2022-05-11 22:34:10
295
原创 ambari-serve Received Exception while testing connectivity to the KDC: Algorithm AES256 not enabled
一、确定ambari-server jdk 路径方法（ 如果已知ambari-server jdk 路径可跳过该步骤）ps aux |grep -v grep |grep java |grep ‘ntroller.AmbariServer’二、将附件内jar包US_export_policy.jar 和 local_policy.jar解压到/usr/local/jdk1.8.0_141/jre/lib/security/目录下，如下如所示三、 重启ambari-serverambari-se
2022-05-07 23:26:27
554
原创 kadmin.local 批量添加及下载keytab
主脚本 add_princ-download_keytabs.sh#! /bin/bashbase_dir=/etc/security/keytabscounter=1while read host_name princ k_name user_name;do echo "$counter ==>> ${host_name} ${princ} ${k_name} ${user_name}" [ ! -d ${base_dir}/${host_name} ] &am
2022-05-07 21:30:31
692
原创 mapreduce 数据倾斜解决方法
下面列举了一些常见的导致数据倾斜的场景。场景 1 ： 当一个大表和一个小表 join 时， 如果小表的 key 较集中，将会引起大表中的数据被分发到一个或者少数几个 Reducer 任务中，导致数据分布不均匀。场景 2： 在 group by 时，如果分组的维度太少，维度的值分布不均匀，将导致数据分布不 均匀。场景 3： 当大表与大表关联时，在关联的条件字段中，其中一个表的空值、 null 值过多， 将导致数据分布不均匀。针对数据倾斜，业界一般有以下几种解决方案。1 . 调节参数可以通过修改 h
2022-05-05 20:44:42
2051
原创 centos mysql 5.7+ 忘记密码
停止mysqld 进程:systemctl stop mysqld修改mysqld 运行环境参数，跳过密码输入环节:systemctl set-environment MYSQLD_OPTS=“–skip-grant-tables”启动mtsqld 进程:systemctl start mysqldroot 免密登录:mysql -u root重置密码:方式一、mysql> UPDATE mysql.user SET authentication_string .
2022-05-04 20:49:41
927
原创 centos 7.9 卸载openldap 后yum不可用
一、OpenLdap卸载#停止openldapsystemctl stop slapdsystemctl disable slapd#卸载yum -y remove openldap-servers openldap-clients#删除残留文件rm -rf /var/lib/ldap//删除ldap用户userdel ldap#删除openldap目录rm -rf /etc/openldap或者执行强制卸载:yum list installed |grep ldap # 查询
2022-01-13 17:15:10
459
原创 myeclipse 创建spring boot 项目
第一步：myeclipse File > New > Project，New选择创建project项目在这里插入图片描述第二步：选择Maven Project 后点击 Next第三步：注意勾选create a simple project(skip archetype selection)//创建一个简单的项目跳过原型选择，并根据个人情况选择代码存放空间，配置完成后点击Next第四步：groupid和artifactId被统称为“坐标”是为了保证项目唯一性而提出的，如果你要
2022-01-07 10:04:06
1936
原创 openldap 常用命令
ldapsearchldapsearch -x -H 'ldap://ip:389' -b ou=Project,dc=bigdata,dc=com #查询所有的Project 附：http://wiki.shileizcc.com/confluence/pages/viewpage.action?pageId=39223517
2021-11-17 13:44:30
178
原创 hadoop balance 报错： “KDC can‘t fulfill requested option while renewing credentials“
到kerberos server 所在机器执行：kadmin.local -q ‘getprinc hdfsxxxxxxx’ # 查看输出内容中Maximum renewable life 对应的是不是 0day 00:00:00, 如果是0day，则执行kadmin.local -q 'modprinc -maxrenewlife 7d hdfsxxxxxx" 进行principal renew_lifetime 的更新...
2021-10-29 16:56:58
2777
原创 No suitable device found for this connection (device lo not available because device is strictly unm
当执行 ifup ens33 出现错误：[root@localhost ~]# ifup ens33Error: Connection activation failed: No suitable device found for this connection (device lo not available because device is strictly unmanaged).解决办法：[root@localhost ~]# chkconfig NetworkManager offNo
2021-09-28 16:21:36
10933
5
原创 Ambari平台添加节点
Ambari平台添加节点一、安装1.1 环境准备服务器系统安装；服务器环境配置；1.2 Jdk安装下载并安装jdk(注意jva版本和Ambari版本的对应)安装方式：下载安装包jdk-8u162-linux-x64.tar.gz后本地安装创建java目录 mkdir /usr/java将压缩包移动到新建目录mv xx/xx/jdk-8u162-linux-x64.tar.gz /usr/java解压文件tar -zxvf jdk-8u162-linux-x64.tar.g
2021-09-28 15:05:41
876
原创 centos kerberos 主从同步搭建
一、 主机规划主机ip服务部署192.168.88.130kdcmaster192.168.88.131kdcslave二、安装过程192.168.88.130 操作如下2.1 192.168.88.130 安装# yum -y install krb5-libs krb5-devel krb5-server krb5-workstation12.2 192.168.88.130 修改配置文件如下cat /etc/krb5.conf#Con
2021-09-16 11:06:00
318
原创 Hadoop Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-er
部署规划表服务器ip部署的服务组件aaaaaa––aaaaaa––aaaaaa环境初始化配置1.1 双向免密配置1.2 主机名配置1.3 安装jdk 及 程序包1.4Hadoop 配置调整 （配置文件默认位置 $HADOOP_HOME/etc/hadoop 下面）slaveshadoop-1hadoop-2hadoop-3hadoop-env.sh**新增内容**： export JAVA_HOME=/usr/l
2021-07-23 14:51:01
778
原创 hadoop start-dfs.sh Error: JAVA_HOME is not set and could not be found
执行 start-dfs.sh 报错如下localhost: Error: JAVA_HOME is not set and could not be found.localhost: Error: JAVA_HOME is not set and could not be found.vim ~/.bashrc 添加内容export JAVA_HOME=/usr/local/jdk1.8.0_141export PATH=$PATH:$JAVA_HOME/binexport HADOOP_P
2021-07-12 20:53:03
1076
转载 hadoop ha集群搭建
转载地址https://blog.csdn.net/qq_22917163/article/details/99726899
2021-04-30 15:14:00
120
1
原创 mysql select into outfile 导出查询数据
SELECT * FROM 库名.表名 INTO OUTFILE ‘/tmp/record.txt’ CHARACTER SET gbk FIELDS TERMINATED BY ‘\、’ OPTIONALLY ENCLOSED BY ‘"’ LINES STARTING BY ‘>’ TERMINATED BY ‘\r\n’;
2021-04-20 15:00:55
135
原创 2021-04-16
k8s Master节点介绍Master是Kubernetes Cluster的大脑，运行着的Daemon服务包括 kube-apiserver、kube-scheduler、kube-controller-manager、etcd和Pod 网络（例如flannel），如图API Server（kube-apiserver） 介绍API Server提供HTTP/HTTPS RESTful API，即Kubernetes API。 API Server是Kubernetes Cluster的
2021-04-16 12:13:17
92
原创 kubeadm init初始化时报错failed to pull image “k8s.gcr.io/kube-apiserver:v1.21.0“: output: Error response f
问题原因：因为k8s master 初始化的时候，执行命令 kubeadm init 。。。 要下载k8s.gcr.io的docker镜像，但是国内连不上https://k8s.gcr.io/v2/。解决思路：从阿里云镜像云下载kubeadm需要的镜像kubeadm config images pull --image-repository=registry.aliyuncs.com/google_containers修改镜像名称修改前如下：修改后如下：k8s 搭建参考链接
2021-04-16 11:29:07
5364
原创 国内源安装k8s
国内源ubuntu 16.04 / Debian$ apt-get update && apt-get install -y apt-transport-https$ curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -$ cat </etc/apt/sources.list.d/kubernetes.listdeb https://mirrors.aliyun.com/
2021-04-15 19:01:00
415
原创 2T 以下和2T以上的硬盘如何分区与格式化
摘自移动云 ： https://ecloud.10086.cn/op-help-center/doc/article/246331.linux云主机使用MBR分区(1) 用户使用VNC或者SSH方式登录云主机，输入root和云主机密码，完成登录。(2) 执行云硬盘分区1)用户输入fdisk -l，可查看当前磁盘情况，用户会发现/dev/vdb，如用户没有发现该目录则表示用户的云主机当前没有数据盘，也就不需要执行后续的挂载操作。2)用户在命令窗口输入fdisk /dev/vdb，对数据盘进行
2021-04-09 18:07:03
1099
原创 pip3 重装
wget https://bootstrap.pypa.io/pip/3.5/get-pip.pypython3 get-pip.py --force-reinstallpip3 -V
2021-04-09 10:14:42
714
原创 excel单元格内的行数统计
在需要显示行数的但愿格内输入表达式：=LEN(S2)-LEN(SUBSTITUTE(S2,CHAR(10),""))+1
2021-04-09 10:13:57
2118
原创 centos 安装tinyproxy 代理
安装 (服务器ip 33.22.33.22)yum -y install tinyproxy配置文件 /etc/tinyproxy/tinyproxy.confUser rootGroup rootPort 8888 Timeout 600DefaultErrorFile "/usr/local/tinyproxy/share/tinyproxy/default.html"StatFile "/usr/local/tinyproxy/share/tinyproxy/stats.
2021-04-06 16:18:01
941
原创 linux pip命令重装
移除旧的pip 命令apt-get remove python-pip python3-pippip 安装脚本下载及pip 安装2.1 wget https://bootstrap.pypa.io/pip/2.7/get-pip.py #下载python2.7 对应的脚本，如果是3.5 url中的版本号调整为3.5即可，以此类推。2.2 python2 get-pip.py #安装...
2021-04-06 15:02:20
834
原创 服务器实现秘钥文件登录配置-sshd_config 配置文件
Port 12022 # 自定义ssh监听端口PermitRootLogin yes #允许root登录AuthorizedKeysFile .ssh/authorized_keys #公钥记录存储文件PasswordAuthentication no #禁止密码授权登录Subsystem sftp /usr/local/libexec/sftp-server
2021-03-25 11:34:24
412
原创 mysql主从复制恢复
1062错误——主键冲突，出现这种情况就是从库出现插入操作，主库又插入相同的数据，iothread没问题，sqlthread出错。问题解决思路：主节点导出备份数据从节点恢复数据主节点导出备份数据mysqldump -uroot -p假装有密码 -R --triggers --all-databases --master-data --single-transaction > all_db-20210324.sql从节点数据恢复2.1 stop slave;.
2021-03-24 17:22:45
161
原创 linux服务器修改用户密码到期时间
chage命令介绍：【语法】 chage [选项] 用户名【选项】-m：密码可更改的最小天数。为零时代表任何时候都可以更改密码。 -M：密码保持有效的最大天数。 -w：用户密码到期前，提前收到警告信息的天数。 -E：帐号到期的日期。过了这天，此帐号将不可用。 -d：上一次更改的日期。 -i：停滞时期。如果一个密码已过期这些天，那么此帐号将不可用。 -l：例出当前的设置。由非特权用户来确定他们的密码或帐号何时过期。查看某个用户的密码状态#chage -l root.
2021-03-22 14:41:41
763
原创 fastdfs + rsync 文件同步
需求说明：fastdfs 文件同步： 将环境1fastdfs 的数据同步到环境2；同步思路： 将环境1的 /fastdfs/storage/data 同步到环境2 /fastdfs/storage/ 下面（tracker目录不需要操作）；操作步骤：登录环境1 fastdfs 服务器执行rsync命令(bwlimit 限速 5000KBPS)rsync -auzv --bwlimit=5000 --progress -e 'ssh -p 22' /fastdfs/storage/data
2021-03-08 16:02:58
485
原创 mysqldump 导出多个库结构数据及函数、存储过程、触发器
mysqldump 参数-d 结构(--no-data:不导出任何数据，只导出数据库表结构)-t 数据(--no-create-info:只导出数据，而不添加CREATE TABLE 语句)-n (--no-create-db:只导出数据，而不添加CREATE DATABASE 语句）-R (--routines:导出存储过程以及自定义函数)-E (--events:导出事件)--triggers (默认导出触发器，使用--skip-triggers屏蔽导出)-B (--databases:
2021-03-04 17:13:34
340
3
原创 mysqldiff两台数据库对比
数据库database层级的对比：mysqldiff --server1=root:密码@ip1:端口 --server2=root:密码@ip2:3306 --changes-for=server2 --difftype=sql --force ip1的库名:ip2的库名数据库表数据层级的对比：mysqldiff --server1=root:密码@ip1:端口 --server2=root:密码@ip2:3306 --changes-for=server2 --difftype=sql
2021-03-03 16:40:53
267
1
原创 SpringBoot打包出错：Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resource
<plugins> ......省略..... <!-- 添加下文或者修改版本号为2.4.4 --> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-resources-plugin</artifactId> <versio...
2021-02-19 15:28:47
213
原创 zabbix 表结构： triggers中expression 对应的信息
select * from triggers where triggerid=‘15653’;select * from functions where functionid =‘17730’;select * from items where itemid = ‘28288’;
2021-02-18 11:06:06
416
原创 springmvc pom.xml 文件依赖
pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org
2021-02-10 14:23:11
438
2
原创 ubuntu python2安装pymysql
需要三步走：1、下载pymysql包wget https://files.pythonhosted.org/packages/44/39/6bcb83cae0095a31b6be4511707fdf2009d3e29903a55a0494d3a9a2fac0/PyMySQL-0.8.1.tar.gz2、解压tar -zxvf PyMySQL-0.8.1.tar.gz3、安装进入PyMySQL-0.8.1目录,执行：python2 setup.py install最后可以通过pip list
2021-02-08 16:18:52
353
python2 监控ssl 证书过期邮件提醒
2020-10-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人