- 博客(21)
- 收藏
- 关注
RSS订阅原创 HDFS减少副本数
最后我们发现缩小副本数后，某些数据节点的磁盘占用下降巨大。它检查文件系统的元数据，验证文件和目录的完整性，并报告它发现的任何不一致或错误。在HADOOP的hdfs-site.xml中找到dfs.replication项，修改为2，分发同步到集群各个节点后，重启HDFS。其中/dw是指定的路径,也就是你需要将那个路径三副本变为2副本，-R参数则表示包含子目录。2、但这样只能保证新写入的块副本数变为2，原有块仍然是3副本，因此还需要执行命令。考虑到成本问题我们选择了暂时性的解决的方案减小副本数。
2023-12-12 14:53:43
245
1
转载 导入pgsql中的保存的html数据到hive时，换行符无法被repalce
https://blog.csdn.net/weixin_45249411/article/details/134876971?spm=1001.2014.3001.5502
2023-12-08 16:46:10
96
转载 k8s之资源调度
startupProbe: #应用启动探针配置httpGet: #探测方式path: /index.html #探测路径#port: 80exec:command:- sh- -c- "sleep 4;failureThreshold: 3 #失败多少次才算失败periodSeconds: 10 #间隔时间successThreshold: 1 #多少次成功算成功timeoutSeconds: 5 #超时时间livenessProbe: #应用启动探针配置。
2023-12-06 10:26:31
104
1
转载 kubectl 基本操作
转载链接: kubectl 基本操作需要在服务运行环境下存储数据的服务为有状态。反之为无状态。无状态的代表应用：nginx、Apache有状态代表应用：MySQL、Redis
2023-12-06 10:15:53
105
1
转载 k8s集群搭建
转载链接: k8s集群搭建在部署集群之前，我已经有三台干净的机器(静态ip、防火墙关闭等)。之后采用kubesphere进行搭建。在 VMware vSphere 安装 KubeSphere下边是我的kubesphere的创建文件。命名为 config-sample.yaml
2023-12-06 10:04:49
65
4
转载 K8s之服务发布
kind: Service #资源类型metadata:name: nginx-svc #svc名字labels:app: nginx #svc自己的标签spec: #期望selector: #匹配哪些pod(所有标签被匹配的)会被代理ports:- port: 80 #service 自己的端口，在使用内网ip访问时也使用targetPort: 80 #目标 pod的端口name: web #为端口起个名字。
2023-12-06 09:59:27
58
1
原创 Ranger配置hive 插件报错解决Permission denied: user=rangerlookup, access=READ_EXECUTE, inode=“/“
日志可以看出是Ranger配置没有问题，是下载策略没有权限。 期间尝试重启，换版本都未解决。授权下载策略用户为hive。
2023-12-01 11:04:44
363
1
原创 DolphinScheduler定期清除工作流
由于工作流实例以及任务实例过多，准备只保留两天的任务记录。创建工作流实例临时表保存两天的id。创建任务实例临时表保存两天的id。保留两天工作流实例日志。保留两天的任务实例日志。
2023-10-11 16:01:35
1169
1
原创 二、Elastic kibana安全配置以及Logstash安装
这将创建一个名为elastic-certificates.p12的文件，其中包含对我们的Elasticsearch集群进行PKI身份验证所需的所有信息。将用于PKI身份验证的证书必须由与用于加密HTTP通信的证书相同的CA进行签名。因为我们已经使用了自签名CA，所以我们必须还使用之前的elastic-stack-ca.p12CA来签署HTTP客户端证书。的文件，其中包含对我们的Elasticsearch集群进行PKI身份验证所需的所有信息。注意这边要使用内置的jdk（参考1.8修改）
2023-10-09 17:37:54
200
3
原创 一、 Elasticsearch 7.x集群安装&安全配置
对于HTTP层通信，Elasticsearch节点仅用作服务器，因此可以使用服务器证书，即TLS/SSL证书不需要启用客户端身份验证。Elasticsearch附带了一个名为elasticsearch-certutil的实用程序，可用于生成加密Elasticsearch集群内部通信的自签名证书，证书生成命令如下。因为设置密码的命令将通过不安全的HTTP与集群通信，所以在为HTTP通信启用TLS/SSL之前，需要完成内置用户密码的设置。修改/etc/security/limits.conf ，分发文件。
2023-10-09 15:12:20
723
1
原创 HDFS HA 模式namenode1无法启动，JournalNode报错
4.修改故障节点nameservice1名为nameservice1_bak，然后解压复制的元数据压缩包。2.到/data/dfs/jn路径下备份元数据（注意三台JournalNode 都进行备份）数据突然写不进去，重启hdfs发现datasophon01节点namenode掉线。3.压缩元无故障节点元数据（因为比较大，也是保证发送过去文件不损坏）通过报错发现三个JournalNode 节点元数据同步不一致。根据报错提供的，复制报错的文件块，然后进行删除。hdfs dfs -rmr /文件块路径。
2023-09-25 22:56:03
524
1
原创 DolphinScheduler停止工作流实例删除不了，造成master空指针
【代码】DolphinScheduler停止工作流实例删除不了，造成master空指针。
2023-09-21 15:30:43
384
4
原创 Datasophon升级doris版本为2.0.1
升级请使用本章节中推荐的步骤进行集群升级，Doris 集群升级可使用滚动升级的方式进行升级，无需集群节点全部停机升级，极大程度上降低对上层应用的影响。
2023-09-19 16:15:37
902
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人