- 博客(781)
- 资源 (4)
- 收藏
- 关注
原创 pip 批量安装模块
requirements.txt 文件DBUtils==2.0.1fastapi==0.63.0PyMySQL==1.0.2requests==2.12.5urllib3==1.19.1uvicorn==0.13.4pip install --no-cache-dir -r requirements.txt
2022-04-19 16:56:28
767
原创 python 最简单基础教程
环境自行官网下载安装。前提说明:python是自上向下执行代码,有严格的缩进要求。#1.变量tt = 2 int类型t = '2' 字符串类型t = 2.2 float类型t = [2,3] 数组(列表)类型t = {'s':'v'} 字典类型python 声明变量不用指定类型 根据值得类型 具体详细解释自行百度#2.循环t = [2,3,4,5]#循环内容for i in t: print(i)#根据长度循环 len(t)可以替换成数字for
2022-04-19 11:07:21
1260
原创 git每次都要输入密码解决
个人原因再生成密钥的时候设置了密码,两种解决方法:1.修改密码,把原密码修改为空这样就可以把密码去掉;步骤:输入命令(ssh-keygen -p) -> 写入老密码->写入新密码(可以为空不要密码)2.重新生成密钥。...
2022-04-14 20:58:05
1721
原创 shell 脚本语言记录
if [ -f file ] 如果文件存在if [ -d … ] 如果目录存在if [ -s file ] 如果文件存在且非空if [ -r file ] 如果文件存在且可读if [ -w file ] 如果文件存在且可写if [ -x file ] 如果文件存在且可执行
2021-12-01 17:05:30
193
原创 0/2 nodes are available: 2 node(s) didn‘t match Pod‘s node affinity/selector
问题大概就是没有合适的节点,可能是污点造成也可能是没有匹配到条件满足的节点,可以看看是不是有nodeSelector属性,然后排除是否真的是没有可以匹配的节点。
2021-11-26 19:15:09
8176
原创 k8s service
类型ClusterIP:Kubernetes默认会自动设置Service的虚拟IP地址,仅可被集群内部的客户端应用访问。NodePort:将Service的端口号映射到每个Node的一个端口号上,这样集群中的任意Node都可以作为Service的访问入口地址,即NodeIP:NodePort。LoadBalancer:将Service映射到一个已存在的负载均衡器的IP地址上,通常在公有云环境中使用。ExternalName:将Service映射为一个外部域名地址,通过externalName
2021-11-24 16:51:13
1098
原创 linux 实用命令参考
#zcat ./access-20211117_000001.log.gz | awk '{print $9}' | sort | uniq -c | sort -nr##统计每行第九列不同字段出现的次数|:竖杠在命令中是管道的作用,意思就是把竖杠前面命令的结果当作后边命令的输入AWK:是一种处理文本文件的语言,是一个强大的文本分析工具。这个一句话说不完,本命令作用就是输出第九列内容sort:命令用于将文本文件内容加以排序。 -n 依照数值的大小排序。-r 以相反的顺序来排序。uniq:命令用于.
2021-11-18 14:23:05
292
原创 java list 细节
for (int i = 0 ,j=dom.size();i<j;i++) { ********* if(i<j-1) { ********* }}这样不用在循环内循环调用list对象
2021-11-11 11:02:42
375
原创 Flink k8s 部署模式 Application集群模式
官网上给出了部署方式,不过对于基础差一点难免困难一点,所以我把官网上的内容按照部署顺序写一下:# kubectl create -f flink-configuration-configmap.yaml # kubectl create -f jobmanager-service.yaml # kubectl create -f jobmanager-application-non-ha.yaml# kubectl create -f taskmanager-job-deployment.y
2021-11-02 11:15:34
2250
原创 k8s 术语
无规则,个人记录,如果错误或者缺少的可在评论区发出来。我会修改文章并注明。valueFrom:对Pod的元数据进行引用env:- name: POD_IP valueFrom: #环境变量不直接设置value,而是设置valueFrom对Pod的元数据进行引用。 fieldRef: #设置需要引用Pod的元数据信息 apiVersion: v1 fieldPath: status.podIP...
2021-10-28 13:55:07
856
原创 python 探测IP端口
# -*-coding:utf-8-*-import loggingimport multiprocessingimport optparseimport osimport socketimport timefrom concurrent.futures.thread import ThreadPoolExecutorfrom queue import Queuefrom socket import *# LOG_FORMAT = "%(asctime)s - %(levelname.
2021-10-18 14:32:52
534
原创 nginx升级到nginx-1.20.1
nginx升级到nginx-1.20.1步骤1.下载cd /usr/local && wget http://nginx.org/download/nginx-1.20.1.tar.gz2. 解压tar xzf nginx-1.20.1.tar.gz && cdnginx-1.20.13. 编译./configure --prefix=/usr/local/nginx1.20/ && make && make instal...
2021-09-09 14:17:16
1333
原创 my.cnf
[client]port=13306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8mb4[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.pid[mysql]no-auto-rehashdefault-character-set=utf8mb4[mysqld]port=13306datadir=/var/lib/.
2021-09-06 17:34:16
90
原创 Flink Application Mode on Docke demo
官方介绍: 集群生命周期:Flink Application 集群是专用的 Flink 集群,仅从 Flink 应用程序执行作业,并且main()方法在集群上而不是客户端上运行。提交作业是一个单步骤过程:无需先启动 Flink 集群,然后将作业提交到现有的 session 集群;相反,将应用程序逻辑和依赖打包成一个可执行的作业 JAR 中,并且集群入口(ApplicationClusterEntryPoint)负责调用main()方法来提取 JobGraph。例如,这允许你像在 Kuberne...
2021-06-25 17:32:09
439
原创 vue 打包发布项目404
vue + nginx 发布项目 静态文件404 问题刚接触vue 没有深入研究,说是快速开发,其实并不快,好多文档但是没有一个是从创建到发布的文档。官方文档都是说一些基础不好就听不懂的细节。切入正题问题如下:npm run build 打包后 用nginx 做web服务器。访问的时候css js都是404. 浏览器开发者工具Network中可以看到css js文件的路径都是少了项目名具体如下图:端口后面没有项目名,问题还是讨人厌的绝对路径和相对路径。百度都说是什么在config/.
2021-04-28 17:32:34
430
1
原创 docker-compose ports下参数语法
ports 配置项分为短语法和长语法短语法比较常见的如:ports: - "3000" # 主机自动分配未被占用的端口 - "3000-3005" # 端口范围 规则和上边相同 - "8000:8000" # 比较常见的 容器端口8000 对应主机端口8000 - "9090-9091:8080-8081" # 端口范围 规则和上边一天相同 - "49100:22" - "127.0.0.1:8001:8001" # 绑定主机ip 默认所有范围0.0.0.0 - "
2021-04-01 16:12:12
7070
原创 docker集群服务资源控制
version: "3"services: test-py: image: test/pythoncpu:v1 deploy: mode: replicated replicas: 6 resources: limits: cpus: '0.50' memory: 500M reservations: cpus: '0.25' memor.
2021-03-17 17:02:32
574
转载 docker-compose编排参数详解
一、前言Compose是一个用于定义和运行多容器Docker应用程序的工具。使用Compose,您可以使用YAML文件来配置应用程序的服务。然后,使用单个命令,您可以从配置中创建并启动所有服务。Compose可以.yml或.yaml作为文件扩展名。Compose适用于所有环境:生产,登台,开发,测试以及CI工作流程。关于docker compose技术可以查看官方文档Docker Compose以下的内容是确立在已经下载好Docker以及Docker Compos...
2021-03-12 18:59:31
1645
原创 k8s kubernetes 命令记录
kubeadm get pod #获取podkubeadm get node #获取节点##kubeadm reset 在宿主机ip有变动时 修改ip用到,先还原 然后在initkubeadm reset #运行这条命令将会还原当前节点上 kubeadm init 或者 kubeadm join 所做的所有更改。且如果使用外部 etcd,kubeadm reset 将不会删除任何 etcd 数据。这意味着如果再次使用相同的 etcd 节点运行 kubeadm init,你将看到以前的集群...
2021-03-10 17:08:10
300
原创 守护进程(daemon) nginx自动启动
cat << EOF >/lib/systemd/system/nginx.service> [Service]> Type=forking> ExecStart=/usr/local/nginx/sbin/nginx> RestartSec=3> Restart=always> EOF####ExecStart 设置启动命令####RestartSec 重启间隔时间#### Restart 定义何种情况 Systemd 会自动重启.
2021-02-05 16:01:40
1882
原创 docker 容器配置cpu占用率
配置参数:--cpu-quota=50000 --cpu-period=50000cpu-period:周期 单位:微秒(μs)cpu-quota:周期内占用时长关于cpu使用率网上有很多相关内容下面直接写测试结果python.py #测试代码def deadloop(): while True: passdeadloop()DockerfileFROM python:3.6ENV PATH /usr/local/bin:$path..
2021-02-04 12:00:05
1524
2
原创 异或 ^ XOR
public static void main(String[] args) { /** * 交换值,可以用作数据备份 z = x ^ y z为备份 只要 x y存在一个 都能知道另一个 */ int x = 1, y = 2; x = x ^ y; y = x ^ y; x = x ^ y; System.out.println("x===" + x); System.out.println("y===" + y); /** * 加密 */ b.
2021-02-02 16:17:28
103
转载 Linux查找最近修改的文件
查找当前目录下.phtml文件中,最近30分钟内修改过的文件。<code>find . -name'*.phtml'-type f -mmin -30</code> 查找当前目录下.phtml文件中,最近30分钟内修改过的文件,的详细情况。<code>find . -name'*.phtml'-type f -mmin -30 -ls</code> 查找当前目录下,最近1天内修改过的常规文件。<code>find . -...
2021-01-20 11:33:41
503
原创 python requests先获取请求资源的大小
# 关键代码 stream = True 参数,以流的方式读取# 执行代码 直接给出文件大小url = 'url自己找吧're = requests.get(url,stream=True)print(re.headers.get('Content-Length'))主要用在下载大文件def request_url(url, headers, file_path): m = hashlib.md5() start_time = time.time() with.
2021-01-11 15:41:21
5027
原创 python 字符串截取,拼接,填充
因为需求需要,用python更方便、更有优势。没有系统的学习python,就是简单看下hello world! 算是入门了这里就记录一下自己写代码过程中所学(百度)1.字符串操作(1)字符串截取字符串[开始索引:结束索引:步长]切取字符串为开始索引到结束索引-1内的字符串步长不指定时步长为1 字符串[开始索引:结束索引]# 截取字符串str = 'hello world'str[2:3] 截取第3位到第4位 print(str[2:3]) : llstr[:-1] 截取到倒数
2021-01-11 14:59:11
472
原创 Flink 写入Kafka多个topic
Flink 写入Kafka 到多个Topic 我想到的有两种方法第一种:分流利用split()方法,不过现在已经被官方定位弃用的方法 ,给出的代替方案是side output,其实大致一样 都要多产生一个流。side output 在学习窗口算子的超时事件时应该能更清楚的了解(我当时时)。这种方案的缺点就是每多一个topic 都要多产生一个流再添加一个addSink(),需要修改逻辑。而且还要,如果有100个呢?addSink()addSink()addSink()addSin...
2020-12-23 14:56:30
3570
4
原创 mysql binlog三种模式的区别(row,statement,mixed)
数据库版本:mysql-5.7.32statement:执行sql:update log_user set name = 'admin3';############以下内容为mysql-bin.000002的新增内容############## at 745#201218 8:04:11 server id 1000 end_log_pos 810 CRC32 0xa7a54b83 Anonymous_GTID last_committed=2 sequence_number=3.
2020-12-18 17:31:28
826
1
原创 apache druid order by
order by “只有”在查询结果有聚合函数的时候可以用官网介绍:The ORDER BY clause refers to columns that are present after execution of GROUP BY
2020-10-30 15:18:54
465
原创 docker 容器运行自动关闭
docker 容器运行需要执行一个一直挂起的命令 比如top 或者打印日志docker容器如果没有前台程序运行会认为空闲,自动关闭退出。最近遇到的docker 运行tomcat和redis 容器tomcat 启动命令要使用 catalina.sh run 来启动./catalina.sh run 动态地显示tomcat后台的控制台输出信息Ctrl+C后退出并关闭服务redis自定义配置文件是在配置文件中的daemonize 要设置为no# 默认情况下 redis 不是...
2020-09-25 14:47:47
1894
原创 python 修改Excel
主要看加注释的import xlrdfrom xlutils.copy import copy#读取excelexcel = xlrd.open_workbook(r'C:\Users\wk\Desktop\222.xls')#cp对象wb = copy(excel)#读取工作表sheets = excel.sheets()[0]#读取工作表w_sheet = wb.get_sheet(0)i = 1lastrow = 0.0next_line = 0iszero = .
2020-09-21 16:32:28
274
原创 kafka-eagle 使用配置及远程jmx端口设置遇到的问题
关于安装kafka-eagle网上已经有好多资源,这里就不再赘述安装过程很简单几乎没遇到问题,就是jmx配置遇到了些问题。下面就直接说kafka-server-start.sh 配置export JMX_PORT="9999"只有这个是大部分博主直接在文档里写明的。这就会在配置多主机kafka集群监控的时候导致如下问题。create has error,msg is java.rmi.ConnectException cannot be cast to javax.managemen.
2020-08-18 20:20:06
7766
原创 ERROR: Service “zoo1“ uses an undefined network “nginxlog-use“
ERROR: Service "zoo1" uses an undefined network "nginxlog-use"解决办法:在services同级生命外部网络networks: nginxlog-use: external: true
2020-08-11 16:19:27
1840
原创 Flink 测试报错 java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/FlatMapFunction
java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/FlatMapFunction at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(Class.
2020-08-05 15:55:27
2385
原创 kafka flume sasl 验证三
在monitor_nginx.conf 加入下面配置logser.sinks.kafka_monitor_nginx.kafka.producer.security.protocol = SASL_PLAINTEXTlogser.sinks.kafka_monitor_nginx.kafka.producer.sasl.mechanism = PLAINcp kafka的lib内jar到flume的lib下 cp以下包kafka-clients-2.5.0.jarlz4-java-1..
2020-07-23 15:41:44
1562
原创 kafka 添加sasl认证 权限控制二
如果没看过上一篇的需要看完上一篇才能更容易理解在server.properties 中配置的超级管理员可以直接创建topic和输入内容想要实现权限控制需要用kafka-acls.sh来配置用户 kafka/bin/kafka-acls.sh查看已经配置的用户添加权限 添加用户wk2可以写入topic:nginxlog 内容的权限./kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.146:2181 --.
2020-07-16 14:13:25
755
原创 kafka 添加sasl认证 权限控制
刚开始用到,按照网上写的配置,到最后要么验证失败 要么直接启动不了,发现好多都是写的不全,所以我这算是整理一下。其实都是整理一下。单机模式版本:apache-zookeeper-3.6.1-bin.tar.gzkafka_2.12-2.5.0.tgz官网都可以直接下载到1.解压安装正常解压就行2.配置zookeeper在zoo.cnf 最后面(我通常都在最后边)加authProvider.1=org.apache.zookeeper.server.auth.SASLA
2020-07-15 14:05:11
1779
jd-eclipse-site-1.0.0-RC22.zip
2018-10-25
jp.gr.java_conf.ussiy.app.propedit_5.3.3.jar
2017-09-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人