- 博客(261)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive 报错小结
Hive 查询报错：NoRouteToHost官方文档：https://cwiki.apache.org/confluence/display/HADOOP2/NoRouteToHostNo Route to HostIOException当网络上的一台机器不知道如何将 TCP 数据包发送到指定的机器时，您会收到...
2022-08-04 17:16:36
2329
原创 Hive 配置小结
显示表头和数据库信息进入hive cli后 执行以下命令：set hive.cli.print.header=true;因为在cli中set配置属性只是当次有效，如果想永久配置的话，将上述命令配置到hive/conf下的配置文件中##在hive-site.xml 中添加如下配置vim /etc/hive/co...
2022-07-27 17:47:54
867
原创 Amazon EMR 配置 Hive 对Hue用户的权限控制
Hue 创建用户后无权限访问Hive在hue中创建完用户后，还需要在主节点中创建这个user并在hive和hadoop中为这个user赋予权限，经过我这边的测试，步骤如下：Hue添加用户添加管理员用户##进入hue目录cd /usr/lib/hue/##创建超级用户sudo build/env/b...
2022-07-26 18:32:26
1761
原创 Amazon EKS 使用 EFS服务
先决条件安装Amazon CLI##amd64 架构安装curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsudo ./aws/install##arm64 架构...
2022-07-19 11:09:38
702
原创 Logstash 中filter常⽤语法
官方文档：https://blog.csdn.net/UbuntuTouch/article/details/100770828介绍grok插件grok插件有非常强大的功能，他能匹配一切数据，但是他的性能和对资源的损耗同样让人诟病。filter{ grok{ #只说一个match属性，他的...
2022-06-16 14:06:41
2022
原创 Hadoop 问题小结
任务无法提交查看Hadoop控制台 http://172.16.0.10:8088/cluster/scheduler ，发现内存只有50%使用率；排查登录master节点服务，yarn.scheduler.capacity.maximum-am-resource-percent 配置为 0.5 ，表示core的资...
2022-06-15 23:38:39
266
原创 ElasticSearch7 集群安装和配置
角色节点名ipmaster, data, voting_onlynode-master01172.28.254.221master, datanode-master02172.28.254.27master, datanode-master03172.28.253.227...
2022-05-21 20:41:46
2305
原创 Kubernetes 安装配置ingress controller
> 对于Kubernetes的Service，无论是Cluster-Ip和NodePort均是四层的负载，集群内的服务如何实现七层的负载均衡，这就需要借助于Ingress，Ingress控制器的实现方式有很多，比如nginx, Contour, Haproxy, trafik, Istio。几种常用的ingress...
2022-04-01 18:38:56
1334
原创 ELK 7 日志分析系统安装和配置
环境准备注：由于Logstash的运行依赖于Java环境， 而Logstash 1.5以上版本不低于java 1.7，因此推荐使用最新版本的Java。因为我们只需要Java的运行环境，所以可以只安装JRE，不过这里我依然使用JDK 1.1 平台环境：OS: Amazon Linux 2软件节点名...
2022-03-20 19:57:29
366
原创 部署Apache Doris
官方文档：https://doris.apache.org/zh-CN/installing/compilation.html一、编译使用 Docker 开发镜像编译(推荐)1.拉取镜像#下载 Docker 最新主干版本代码，会随主干版本不断更新。$ docker pull apache/incu...
2022-02-23 15:12:57
1532
原创 Kubernetes 报错小结
一、The connection to the server localhost:8080 was refused - did you specify the right host or port?问题分析环境变量原因：kubernetes master没有与本机绑定，集群初始化的时候没有绑定，此时设置在本机的环境变...
2022-01-15 10:07:40
2379
3
原创 HDFS常用命令
hdfs 命令最常用的就是： hdfs dfs -[linux的命令]通过查看Hadoop的命令 与 hdfs 的命令并不相同，且不存在包含关系。仅仅是 hadoop fs 与 hdfs dfs 可以等价。hadoop 常用命令查看hadoop 命令所有参数：hadoophadoop checknative /...
2022-01-11 11:18:35
80
原创 kubectl 常用命令总结
参考资料https://kubernetes.io/zh/docs/reference/kubectl/overview/https://kubernetes.io/zh/docs/reference/kubectl/kubectl/kubectl 命令帮助# kubectl --helpkub...
2021-12-15 18:03:05
661
原创 【kubeadm初始化报错】failed to run Kubelet: misconfiguration: kubelet cgroup driver: systemd is different...
环境系统：Amazon Linux 2kubernetes：v1.23.0docker：20.10.7复现步骤1、通过 yum 或 rpm 安装 kubelet kubectl kubeadm，并 systemctl enable --now kubelet2、初始化 sudo kubead...
2021-12-14 18:42:48
7669
原创 Amazon Linux 2 安装Kubernetes
说明1. 节点规划部署k8s集群的节点按照用途可以划分为如下2类角色：master：集群的master节点，集群的初始化节点，基础配置不低于2C4Gslave：集群的slave节点，可以多台，基础配置不低于2C4G本例为了演示slave节点的添加，会部署一台master+2台slave，节点规划...
2021-12-09 13:56:27
1671
原创 Amazon Linux 搭建Zookeeper+Kafka集群
Zookeeper集群搭建系统信息Amazon Linux 2测试服务器信息10.2.19.108 kafka001-test-server10.2.30.162 kafka002...
2021-12-02 18:20:38
288
原创 Python+getopt实现命令行带参数
python中 getopt 模块，该模块是专门用来处理命令行参数的。目前有短选项和长选项两种格式：短选项格式为"-"加上单个字母选项；长选项为"--"加上一个单词。长格式是在Linux下引入的。许多Linux程序都支持这两种格式。在Python中提供了getopt模块很好的实现了对这两种用法的...
2021-11-16 13:52:01
1059
原创 Prometheus 通过 consul 实现自动服务发现
一、Consul 介绍Consul 是基于 GO 语言开发的开源工具，主要面向分布式，服务化的系统提供服务注册、服务发现和配置管理的功能。Consul 提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等功能。在没有使用 consul 服务自动发现的时候，我们需要频繁对 Prometheus...
2021-07-22 11:24:49
225
原创 Prometheus 介绍和使用
前言Prometheus(普罗米修斯)是最初在SoundCloud上构建的开源系统监视和警报工具包。自2012年成为社区开源项目，该项目拥有非常活跃的开发人员和用户社区。Prometheus 于2016年加入了 Cloud Native Computing Foundation (云原生云计算基金会，简称CNCF)，成为继Kubernetes之后的第二个托管项目。Exporter是一个采集...
2021-07-15 11:14:40
3274
原创 Centos7安装Gitlab最新版与备份恢复
本文安装gitlab版本为："build_version": "14.0.0"gitlab / gitlab-ce官网下载：https://www.gitlab.cc/downloads官网安装说明：https://doc.gitlab.cc/ce/install/requirements.html开源...
2021-06-23 18:56:01
762
原创 Centos 安装PostgreSQL
yum安装(postgresql12 为例)1、导入yum源sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm2、安装Postgre...
2021-06-23 11:44:04
190
原创 Centos 7 搭建Prometheus+Grafana监控系统
本文主要讲解Prometheus 配置过程，Grafana安装请转移此文档。平台[ root@opserver:~ ]# uname -aLinux opserver 3.10.0-1160.25.1.el7.x86_64 #1 SMP Wed Apr 28 21:49:45 UTC 2021 x86_64 x86...
2021-06-15 15:54:58
495
原创 Apache最新版安装和配置
Apache 安装当前官方 yum 源如 epel，base 的 Apache httpd 版本为 2.4.6-90，可以用 ius 这个第三方 yum 源，该源的特点是提供各类 rpm 包的最新版本。ius 源依赖于 epel 源，如果已经有了可以跳过这一步：rpm -Uvh https://mirror.web...
2021-05-24 18:43:27
599
原创 Nginx 配置密码
安装htpasswdhtpasswd 是开源 http 服务器 apache httpd 的一个命令工具，用于生成 http 基本认证的密码文件。yum -y install httpd生成用户名和密码使用下面命令，为用户testuser生成密码文件，密码需要控制台输入sudo htpasswd -c /etc/nginx...
2021-05-19 11:11:49
168
原创 ansible 变量介绍和使用
在ansible中使用变量，能让我们的工作变得更加灵活，在ansible中，变量的使用方式有很多种，变量名应该由字母、数字、下划线组成，变量名需要以字母开头，ansible内置的关键字不能作为变量名。定义变量1、使用vars关键字在playbook中定义变量，可以借助vars关键字，示例如下---- hosts: tes...
2021-05-17 09:17:27
1397
原创 FPM 打包工具的安装使用
介绍 FPM的github：https://github.com/jordansissel/fpm FPM功能简单说就是将一种类型的包转换成另一种类型。1. 支持的源类型包dir 将目录打包成所需要的类型，可以用于源码编译安装的软件包 rpm 对rpm进行转换 gem ...
2021-03-23 11:30:31
375
原创 部署Kafka集群管理工具kafka-manager
## 一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具，它最早由雅虎开源，功能非常齐全，展示的数据非常丰富。同时用户能够在界面上执行一些简单的集群管理操作。 不过雅虎已经将其更名为CMAK(Cluster Manager for Apache Kafka)。具体支持以下内容：* 管理多个集群* 轻松检查集群状态(主题，消费者，偏移...
2021-02-03 11:19:28
691
原创 常用HTTP状态码和CURL 000问题
最近在测试CDN服务质量问题，测试过程中返回了一些不同的状态码，当然有一些常用的，也有一些不常用的。最奇葩的是在使用curl命令的时候出现000状态码，问了很多同事，对这个000的反应跟新事物是的。# 生产环境常见的HTTP CODE**生产环境常见的HTTP状态码列表(List of HTTP status codes)为：****2XX成功：*** 200 - OK，服务器成...
2019-12-11 16:09:27
961
原创 RabbitMQ 命令行的基本操作
深入理解AMQP协议：https://blog.csdn.net/weixin_37641832/article/details/83270778# 虚拟主机每个Rabbit都能创建很多vhost，我们称之为虚拟主机，每个虚拟主机其实都是mini版的RabbitMQ，拥有自己的队列，交换器和绑定，拥有自己的权限机制。**vhost特性：*** RabbitMQ默认的vhost是“/”开箱...
2019-10-22 15:36:42
101
原创 Django入门课程二
# 知识回顾**1：web网站的设计哲学(MVC/MTV的设计哲学)*** 用户输入网址是哪里定义的呢？——URL* 用户两种访问模式读(get)/写(post),谁来处理？——view(control)* view处理的需要数据在哪存着的呢？——model* view处理完毕，用户请求看到的页面是谁渲染的呢？——template(view)**2：Request &&...
2019-07-31 16:40:05
106
原创 Dell CentOS 环境下安装远程管理命令racadm
参考文档：https://juejin.im/post/5cac582cf265da036504daachttps://www.jianshu.com/p/3a57f235916chttp://www.softpanorama.org/Hardware/Dell/Servers/DRAC/racadm_command_line_interface.shtmlhttp://www.softp...
2019-07-30 14:12:39
623
原创 mac下python3.6安装mysqlclient报错mysql_config: command
> 用mac在python3.6的环境下学习django，按照官网的步骤，却无法安装mysqlclient。报错mysql_config: command not found。**命令如下：**`$ pip3 install mysqlclient`pip3是因为有两个python版本，给python3.6对应的pip起了个别名。不然提示找不到。报错如下：```Coll...
2019-07-21 11:15:08
76
原创 Django入门课程一
# 准备环境**1、安装Django**```$ pip install django==2.2.0$ pip listPackage Version---------------- -------backcall 0.1.0 decorator 4.4.0 Django 2.2 $ python ...
2019-07-21 10:47:45
80
原创 Linux系统Centos7搭建Sentinel
参考文档：https://github.com/alibaba/Sentinel/wiki/%E6%96%B0%E6%89%8B%E6%8C%87%E5%8D%97#%E5%85%AC%E7%BD%91-demohttps://github.com/alibaba/Sentinel/wiki/%E6%8E%A7%E5%88%B6%E5%8F%B0#2-%E5%90%AF%E5%8A%A8%E6...
2019-07-12 16:58:14
143
原创 应用 openssl 工具进行 SSL 故障分析
图文还原HTTPS原理：https://mp.weixin.qq.com/s/3NKOCOeIUF2SGJnY7II9hA# SSL 握手协议首先简单的介绍一下 SSL 协议建立连接的过程。如图 1 所示，主要有如下几个过程：...
2019-06-25 15:21:39
1170
原创 RabbitMQ 使用问题总结
# 配置文件路径对于rabbitmq而言，常用的配置文件有mnesia【Erlang的分布式数据库】相关配置，config配置文件，log日志 相关的配置。**方式1，通过rabbitmqctl控制台：**用administrator角色的账号登录，Overview--》点击Nodes 进入即可：单一模式。(2)普通模式(默认的集群模式)。(3) 镜像模式(把需要的队列做成镜像队列，存在于多个节点，属于Rabb...
2019-05-22 11:24:45
51
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人