linux
文章平均质量分 62
linux
王一1995
不想介绍
展开
-
[jmx]zookeeper/kafka/hive/hadoop/presto/presto等组件的jmx监控汇集
jmx的jar包是:jmx_prometheus_javaagent-0.16.0.jar 或 jmx_prometheus_javaagent-0.15.0.jar。项目借用jmx监控,也调研了一些时间,那就记个笔记吧,有些之前整理过,直接上链接了~ 都测试过了,均可使用。修改配置文件promtail.yaml:http_listen_port: 9080。修改配置文件loki.yaml:http_listen_port: 3100。,通过curl http://ip:port可以进行访问的。......原创 2022-08-05 15:56:38 · 1698 阅读 · 0 评论 -
Apache文件管理自学笔记——映射文件夹和基于单ip多域名配置apache虚拟机
如果某条件既匹配Deny语句又匹配Allow语句,则Allow语句会起作用(因为Allow语句覆盖了Deny语句)。如果某条件既匹配Deny语句又匹配Allow语句,则Deny语句会起作用(因为Deny语句覆盖了Allow语句)。例如把自己的产品卖给用户,用户去修改自己的配置文件的时候,去修改了别人的配置文件,导致别人的配置文件无法使用,所以apache把一部分配置文件让用户去完成。既匹配Deny语句又匹配Allow语句,由于allow语句覆盖了deny语句,所以是允许所有客户机访问。......原创 2022-07-28 17:59:47 · 1341 阅读 · 0 评论 -
systemctl-service服务添加环境变量及模板
systemd.exec 中文手册 :http://www.jinbuguo.com/systemd/systemd.exec.html#%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F设置进程的环境变量, 接受一个空格分隔的 VAR=VALUE 列表。 可以多次使用此选项以增加新的变量或者修改已有的变量(同一个变量以最后一次设置为准)。 设为空表示清空先前所有已设置的变量。 注意: (1)不会在字符串内部进行变量展开(也就是"$“没有特殊含义); (2)如果值中包含空格或者等号,那原创 2022-07-11 18:07:58 · 9890 阅读 · 0 评论 -
[Hudi]hudi的编译及hudi&spark和hudi&flink的简单使用
hudi的编译原创 2022-06-12 18:02:39 · 1532 阅读 · 0 评论 -
[zookeeper]zookeeper3集群部署及jmx监控及systemctl添加zookeeper服务
目录1.三台机器2.包的部署和解压3.zookeeper的配置4.jmx的配置5.启动zkServer6.Prometheus的配置并启动7.systemctl添加zookeeper服务1.三台机器yxkj153yxkj155yxkj1572.包的部署和解压apache-zookeeper-3.5.7-bin.tar.gz这步就是将包上传到一台机器上,然后tar -zxvf 。。。 掠过~3.zookeeper的配置zoo.cfgclientPort=2000initLimit=10原创 2022-05-21 22:57:44 · 937 阅读 · 0 评论 -
[部署]presto-server-0.261.tar.gz的集群部署和启动
目录安装包的下载和解压节点的相关配置配置文件可以先配置主节点然后scp到其他节点config.properties的配置主节点config.properties的配置从节点config.properties的配置三个节点jvm.config的配置一样node.properties的配置主节点从节点hive.properties的配置启动安装包的下载和解压presto-server包下载地址:https://prestodb.io/download.html本文用的是presto-server-0.2原创 2022-05-30 17:00:53 · 327 阅读 · 0 评论 -
[flink]flink on yarn和standalone模式简单配置
注:jobmanager.memory.heap.size和jobmanager.memory.process.size二选一,且后者比前者大。classloader.check-leaked-classloader: false和taskmanager.memory.process.size: 5120m是程序启动时候遇到的问题,所以配置上env.hadoop.conf.dir: /opt/hadoop/etc/hadoop,env.java.home: /usr/lib/jvm/java-1.8原创 2022-05-11 18:15:29 · 2906 阅读 · 0 评论 -
[metric]使用Prometheus监控flink1.13org.apache.flink.metrics
目录1 Prometheus安装使用2 pushgateway安装使用3 flink配置Prometheus查看到如下指标1 Prometheus安装使用prometheus下载地址:https://prometheus.io/download/打开http://localhost:9090/就可以访问使用2 pushgateway安装使用解压后直接运⾏ ./prometheus 就可以启动 prometheusprometheus pushgateway下载地址:https://prome原创 2022-05-10 17:14:42 · 1483 阅读 · 0 评论 -
[JMX]jmx监控hadoop3.x和Hadoop2.x(一步到位)
目录背景实现过程1 环境的准备2 jmx在hadoop中的编写2.1 hdfs——jmx2.2 yarn——jmx3.jmx相关参数的yaml文件编写4.Prometheus部分5.最后操作启停其他背景Prometheus+jmx_prometheus_javaagent-0.16.1.jar+hadoop3.2.1实现过程1 环境的准备jmx下载地址:https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent原创 2022-05-10 16:55:35 · 2866 阅读 · 5 评论 -
[Flink]flink1.13 on yarn的HA部署配置及测试
目录1.安装包准备(需要的可以联系我)1.1 flink安装包1.2 zookeeper和Hadoop的安装1.3 flink on yarn需要的hadoop包2.解压并配置内容2.1 /etc/profile配置2.2 flink的配置3.启动3.1 先启动yarn-session3.2 flink的启动3.2.1 session方式启动demo3.2.2 per-job方式启动demo3.2.3 flink启动参数说明1.安装包准备(需要的可以联系我)1.1 flink安装包本文用的是:flin原创 2022-05-03 21:40:13 · 2723 阅读 · 0 评论 -
[联想]vware打开虚拟机就一直蓝屏关机
之前安装虚拟机遇到的问题,今早想起来,记一下笔记电脑已经开启虚拟化,但是一打开配置好的Linux系统就蓝屏+重启!!!控制面板-》程序-》虚拟机平台原创 2022-04-20 09:15:53 · 1197 阅读 · 0 评论 -
[Contens7]修改主机名及配置机器之前ssh
目录1.主机名2.ssh1.主机名hostnamectl 命令查看所有与主机名相关的设置临时改:假设设置所有主机名为worker,命令为hostnamectl set-hostname worker永久改:vi /etc/hosts把所有的localhost.localdomain改成主机名,例如wyyy重启,然后彻底生效,执行reboot2.sshssh-keygen三次回车发送公钥到被控节点注意:这里的root是指你当前要控制的服务器的用户名,不一定就是root,也可原创 2022-03-16 15:49:31 · 1283 阅读 · 0 评论 -
[shell]修改文件指定行数内容进行替换
#!/bin/bash file_name="文件名"key_value="获取指定字段行数" changeFile(){ declare -i nline getline() { cat -n $file_name|grep "${key_value}"|awk '{print $1}' } getlinenum() { awk "BEGIN{a=`getline`;b="0";c=(a+b);print c}";原创 2021-12-29 04:39:37 · 6330 阅读 · 0 评论 -
[shell]文件乱码处理
解决办法1.文件中添加export LANG="en_US.UTF-8"LANG=en_US.UTF-8vi 9.sh原创 2021-12-29 03:43:17 · 1305 阅读 · 0 评论 -
[shell]判断目录/文件夹是否存在,判断文件是否包含某个具体字符串
目录判断文件中是否存在某个字符串判断目录不存在并创建判断目录常用参数判断文件中是否存在某个字符串if [ `grep -c "aaa" "./text.txt" -ne '0'];then echo "hello word"fi判断目录是否存在判断目录不存在并创建if [! -d "目录"];then mkdir 目录fi判断目录常用参数-e filename 如果 filename存在,则为真 -d filename 如果 filename为目录,则为真 -f filen原创 2021-12-05 14:17:20 · 1405 阅读 · 1 评论 -
[shell]cp命令实现目标目录强制覆盖
目录方式一方式二方式三,最简单方法方式一使用原生的cp命令/bin/cp -rf xxxx方式二取消cp命令别名unalias cp去掉 cp 命令的别名,这时你再用 cp -rf 复制文件时,就不会要求确认啦复制完成后恢复别名alias cp=‘cp -i’方式三,最简单方法如果是文件/cp xxx yyy如果是目录/cp -r xxx yyy...原创 2021-12-05 14:08:31 · 4140 阅读 · 0 评论 -
[转载备用]Linux常用命令大全(非常全!!!)
转载自:https://www.cnblogs.com/yjd_hycf_space/p/7730690.html文章目录系统信息关机 (系统的关机、重启以及登出 )文件和目录文件搜索挂载一个文件系统磁盘空间用户和群组文件的权限 - 使用 "+" 设置权限,使用 "-" 用于取消文件的特殊属性 - 使用 "+" 设置权限,使用 "-" 用于取消打包和压缩文件RPM 包 - (Fedora, Redhat及类似系统)YUM 软件包升级器 - (Fedora, RedHat及类似系统)DEB 包 (Debia转载 2020-10-27 15:09:39 · 687 阅读 · 0 评论 -
[linux]linux 常用命令之运行.sh文件
Linux下面用命令如何运行.sh文件的方法一、直接./加上文件名.sh,如运行hello.sh为./hello.sh【hello.sh必须有x权限】二、直接sh 加上文件名.sh,如运行hello.sh为sh hello.sh【hello.sh可以没有x权限】1:当前目录执行xshell1.1:cd到.sh文件所在的目录:/home/epay/uploadserver_wql1.2:命令:ll,若该文件没有执行权限,则给该文件赋权限1.3:赋权限命令:chmod u+x wql.sh1.4:原创 2020-10-16 10:20:20 · 4820 阅读 · 0 评论 -
rz上传文件到集群出现乱码问题
第一种解决方式是:打开crt的选项->回话选项,把里面的 default改成utf-8;第二种解决方式是:rz命令换成 rz -e 进行上传。第二种问题描述:上传文件的时候,显示乱码,上传失败,然后跳到集群别的节点。...原创 2020-07-03 15:50:31 · 572 阅读 · 0 评论 -
linux防火墻(Centos 6.x版本)
基本语法service 服务名 start (功能描述:开启服务)service 服务名 stop (功能描述:关闭服务)service 服务名 restart (功能描述:重新启动服务)service 服务名 status (功能描述:查看服务状态) service iptables start (功能描述:开启防火墙服务)service iptables s...原创 2019-10-27 20:53:00 · 179 阅读 · 0 评论