- 博客(54)
- 资源 (8)
- 收藏
- 关注
原创 解决loguru在multiprocessing并发场景下子线程日志无法记录到文件问题
但是上面有个问题:linux系统下的python线程并发与windows环境下的python线程并发调用方式不相同。为了避免在windows系统下运行正常的代码在linux系统下出问题,需要借助multiprocessing 的context。上面通过multiprocessing 中的Pool创建线程池可记录多线程执行日志。第一种,通过类定义一个日志变量,然后外部传入logger对象来记录日志。第二种,通过将logger对象定义为全局变量来记录日志。
2024-07-05 16:59:27
405
原创 ubuntu-24.04系统静态Mac和IP配置
(3)上面是mac地址替换过程,选择新生成的mac地址和名字(点击下拉会自动提示),下面的cloned address填上要克隆的地址(该地址会覆盖掉新生成的mac地址),Name可以填那个自动生成网络简介名称,如图为ens33。原因说明:因网络的IP地址和Mac是预分配的,所以ubuntu系统需要修改网卡的mac地址和IP才能访问,网络查了半天资料都没成功,后再界面提示,跟着操作才成功,特此记录。(2)新建的网络配置会自动生成一个随机的Mac地址,该地址无法修改,在后面的Identity那可以修改。
2024-05-28 17:13:10
1439
原创 服务器突然断电重启,clickhouse启动异常Suspiciously many broken parts to remove
主要错误为: DB::Exception: Suspiciously many (45) broken parts to remove.这个是发生在机器断电场景下的报错,查找原因是说因为写入数据造成的元数据和数据不一致问题。配置的值,则拒绝自动修复或者拒绝删除损坏部分的数据,并且服务启动时候直接报错退出。,可选值范围是任意正整数,如果单个分区中的损坏部分数量超过。目前需要尽量避免该错误以免服务启动失败,推荐把该参数配置为。表引擎数据,数据可能存在损坏情况。在重启服务的时候会重新加载。重启后,查询相关参数,
2024-05-20 11:21:36
290
原创 python调用golang中函数方法
由于simhash方法有多种实现方式,现python中simhash方法与golang中的不一样,需要两者代码生成结果保持一致,故采用python中的代码调用golang编译的so文件来实现。:①Windows10系统要有gcc环境,否则go build编译so文件不会成功。注意:有的Windows10通过MinGW Installer安装的32位gcc版本,编译会报错。重点说明一下方式二,go代码中涉及第三方依赖包引用,需要对调用的函数加上export注释。" 不是注释,类似java中的注解,
2024-02-07 13:49:51
1597
2
原创 使用Go编译为可执行文件(windows/linux)
案例场景:创建一个两层目录,并在该目录下创建一个文件,将“Hello World”字符写入该文件,并读取出来。目标:(1)测试案例是否能执行成功;(2)编译代码成windows与linux两种环境下的可执行文件。测试代码文件名为main.go,内容如下:package mainimport ( "fmt" "io/ioutil" "os")func main() { // 文件夹名 _dir := "data/test" exist, err := pathExists(
2022-02-09 10:52:02
24607
2
原创 linux命令对两个文件求差集、交集、并集
一、差集有两个文件user_2020.txt、user_2019.txt其中user_2020.txt中内容如下:uuuaaabbb111user_2019.txt中内容如下:eeeeeaaabbbcccaaa示例一:求user_2020.txt - user_2019.txt的差集命令sort user_2020.txt user_2019.txt user_2019.txt| uniq -u结果如下:111uuu示例二:求user_201.
2021-12-25 18:44:36
5974
原创 github仓库提交报告
git@github.com: Permission denied (publickey). fatal: Could not read from remote repository.最终解决方案:ssh-add "你的 id-rsa 文件地址"注意这里ssh-add后面填的是私钥地址,如mac电脑是 /Users/用户名/.ssh/id_rsaadd之后可以用$ ssh git@github.com验证是不是添加成功。参考地址:github强制总是会出现失败问题......
2021-11-21 22:05:33
539
原创 基于Docker,使用Nginx搭建文件服务
docker-compose.yml 使用docker-compose启动 data/nginx/config nginx配置文件 data/nginx/html 传输文件所在目录 data/nginx/logs nginx访问日志
2021-06-21 09:18:46
510
原创 CentOS7 无法上网问题分析
主机现象,IP及Mac地址都配置完后,却ping不通baidu.com,只能ping通局域网host cannon
2021-06-15 18:17:54
396
原创 springboot配置logback打印指定业务日志到单独文件
<?xml version="1.0" encoding="UTF-8"?><configuration scan="false" debug="false"> <springProperty scop="context" name="spring.application.name" source="spring.application.name" defaultValue="app"/> <property name="log.home" va.
2021-06-02 14:48:51
2509
原创 对于导致docker进程启动失败的容器清理办法
docker的容器文件都保存在 /var/lib/docker/containers目录下,如果由于某个容器导致docker进程一直启动失败,可根据指定条件搜索文件,找到容器的ID,将其清理,再启动docker即可。示例如下:如 portainer/agent 该容器由于自动挂载错误,导致docker进程一直无法启动,物理镜像文件查找方法参考如下: cd /var/lib/docker/ find containers/* -type f | grep v2.json | xargs cat |
2021-01-14 11:31:16
1205
1
原创 Java并发编程基础问题列表及解答
由一篇微信文章https://mp.weixin.qq.com/s/bNfgydL6dUN3_iFQwq-9QQ总结以下Java软件开发过程的并发问题列表,在日后工作中,查阅相关资料逐个梳理。1、线程池与线程性能对比2、线程池底层源码解析3、new CacheThread pool可缓存线程池原理详解4、newFixed Thread Pool固定个数线程池原理详解5、newSingle Thread Executor单线程池原理详解6、阿里巴巴开发手册为何不推荐使用自带的线程池工具类?.
2020-12-25 13:51:58
171
2
原创 linux系统日常维护命令随笔
1.查看进程java进程占用内存大小ps aux | grep "java" | grep -v grep | awk '{print $11 "\t" $6/1024"MB" }'
2020-12-22 09:42:52
128
原创 MySQL数据库自动备份脚本
#!/bin/bash#任务描述: 每天凌晨1点执行一次,备份mysql中的ctfx数据库,防止客户审核的数据在DB奔溃的情况下丢失。# crontab配置:0 1 * * * /bin/bash /mnt/task/db_sql_bak_v1.0.sh >> /mnt/task/logs/db_sql_bak_v1.0.log# 备份目标目录:/mnt/doc/mysqlbak/# # crontab命令参考:# vim /etc/crontab 在最后添加crontab.
2020-12-21 18:22:22
235
原创 clickhouse使用经验总结
1、java连接clickhouse中,尽量不用使用循环查,容易造成超时异常;2、高并发查询clickhouse造成超时。3、clickhouse适合大数据量,单查询。4、高并发需要优化clickhouse的配置,具体包含 max_concurrent_queries 100个并发 1000个 uncompressed_cache_size 8G 总内存*2/35、对于数据去重,除了使用distinct函数外,还有uniq()、uniqComb...
2020-12-17 15:54:11
7773
原创 阿里云3D架构图绘制工具寻找分析结果
一、阿里云3D架构图绘制工具寻找分析结果1.https://www.diagrams.net/ 前身是draw.io,免费开源 可在线制作, 可存储在github等云仓库中2.https://online.visual-paradigm.com/ 可在线编辑,收费,有很多参考模板3.https://www.freedgo.com/ 吃相太难看,完全是diagrams.net的中文包装版,制作会打水印4.https://www.cloudcraft.co/ AWS云架构图设...
2020-12-17 13:47:36
3830
2
原创 关于软件人的思考(草稿)
在软件行业工作久了,偶尔就会有自我嘲讽的意识。“软件人”就是对我自己这种长期从事软件行业程序猿人的一种认识描述。虽然感觉很多时候,行业内多数称为“程序员(猿)”。我感觉还是抽象的不那么客观。从人类社会发展的角度,软件也算是一种改变现代人生活的不可获缺工具。应该更像黑客帝国里描述的那种一样,从事社会某一类工作。...
2020-08-09 22:19:38
196
原创 常见网页内容分析方法探究(草稿)
网页主要由网页DOM结构、网页内容文本、网页引用资源三部分构成,通过分析这三部分,来发现相同网页或相似网页。(1)网页DOM结构:标签种类、标签数量;(2)网页内容文本:网页元数据、标题、长文本、短文本、主题词、前50个词频;(3)网页引用资源:外连样式、外连脚本、图片、文档。主要研究的对象包含,分析方法包括数据提取、内容比对、数据存储、数据检索,具体提问为:1、以上三部分具体????️哪些模块构成,针对这三部分,如何提取网页中各个对象数据?2、对于提取的数据,该如何存储,而且适合快
2020-08-09 21:31:35
2047
原创 docker向宿主机写文件遭遇Permission denied错误解决方法
Permission denied:文件写入权限拒绝,将宿主机目录挂载到容器中,在容器向宿主机目录写文件时报这个权限异常。挂载目录如下图所示:recv进入docker容器中,查看当前容器用户权限修改宿主机挂载目录权限chown 1000:1000 /recv/再次启动测试,写入成功。...
2020-08-04 18:01:25
4321
原创 maven打包时shell文件由unix变成dos格式
assembly插件具有lineEnding选项可用于控制给定的行结束文件fileSet. 此参数,正是他们要去你想要的 最终,可以生成zip存档,与CRLF线和tar 。gz存档与LF线。... <fileSet> <directory>src/main/bin</directory> <fileMode>0744</fileMode> <outputDirectory>./bin</ou.
2020-07-16 09:48:59
1775
原创 什么是家?该如何理解思想意识中的家?
现阶段的,家里的环境已经搭建起来了,借用我妈的一句话就是说“像喜鹊搭窝一样,把家里的东西一样一样置齐,家才能算是完善起来”。这么来说,家与我之前理解的又有不同,首先家是由两个人以上构成的,一个人的家挺可怜的,在我这里,就暂时不将其纳入家的范畴。因为从社会大环境来看,单个人的家是不利于整个社会的发展的,所以姑且不算。家是有两个人以上构成的,那么就会有家人,有家人那么就会出现人的七情六欲。无论走到天涯海家,都会有那么叫做一家人牵盼着自己。所以说成立一个家,首先要有人。人,人也奇怪,我一直...
2020-07-11 23:59:15
333
原创 从懵懂娃娃到社会行业大佬,这中间经历的过程的概括性思考
“在当代社会体系中,一个人会先经过教育系统培养成人才,然后输入到社会中,由不同行业的企业吸收人才,人才最终创造价值的过程”。这是一个概括性的描述,话虽然不至于严谨,但起码概括现代社会的绝大多少人一生发展。作为一个从事软件开发行业的小老弟,鄙人用软件开发抽象思想来探索下这种社会现状的规律。以大学选专业后为起点(因为在大学之前,在我看来,应该算是基础知识教育,经过大学的学科专业分化,大多数同学应该才会有起码的专业概念意识),专业知识教育,进入社会发展,成为行业领军人物。人才,什么样的人才能称的上是人才?
2020-07-04 08:25:24
4026
原创 kubenates启动calico-node时,有节点总是报错CrashLoopBackOff
[root@vm511 ~]# kubectl get pods --all-namespaces -o wideNAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESkube-system calico-node-f4228 2/2.
2020-07-03 12:01:06
4585
1
原创 使用kubeadm命令初始化时报错Port-10250,DirAvailable--var-lib-etcd
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs会报错[init] Using Kubernetes version: v1.14.0[preflight] Running pre-flight checkserror execution phase preflight: [preflight] Some fatal errors occurred: [ERROR Port-10250]: Port 1
2020-07-03 10:00:33
1554
原创 kubeadm初始化Kubenates集群时提示ERROR
[init] Using Kubernetes version: v1.14.0[preflight] Running pre-flight checkserror execution phase preflight: [preflight] Some fatal errors occurred: [ERROR Port-6443]: Port 6443 is in use [ERROR Port-10251]: Port 10251 is in use [ERROR Port-10252]: .
2020-07-03 09:58:07
2100
1
原创 kubelet重启不了
使用journalctl -xefu kubelet查看Jul 03 09:41:18 vm511 systemd[1]: kubelet.service failed.Jul 03 09:41:28 vm511 systemd[1]: kubelet.service holdoff time over, scheduling restart.Jul 03 09:41:28 vm511 systemd[1]: Stopped kubelet: The Kubernetes Node Agent..
2020-07-03 09:53:47
5123
原创 安装kubernates时报错
[root@vm511 ~]# yum install -y kubeadm-1.14.0-0 kubelet-1.14.0-0 kubectl-1.14.0-0 --disableexcludes=kubernetes --setopt=obsoletes=0Loaded plugins: fastestmirror, langpacksLoading mirror speeds from cached hostfileResolving Dependencies--> Running t.
2020-07-03 09:14:56
795
原创 Centos7升级后,安装新包时出现异常
You could try using --skip-broken to work around the problem** Found 4 pre-existing rpmdb problem(s), 'yum check' output follows:libsemanage-2.5-14.el7.x86_64 is a duplicate with libsemanage-2.5-8.el7.x86_64libsemanage-python-2.5-14.el7.x86_64 is a du..
2020-07-02 16:54:48
1246
原创 Dockerfile环境变量ENV设置与引用
FROMxxx/jdk1.8-mini:latestMAINTAINER xxx xxx@xx.comENV profile=prodADDapp-1.0.0-bin.zip /app-1.0.0-bin.zipRUN sh -c 'unzip /app-1.0.0-bin.zip'EXPOSE 8081ENTRYPOINT ["/app-1.0.0/start.sh", "st...
2020-04-03 20:44:52
11712
原创 NSQ分布式的docker-compose配置
version: '3'services: nsqlookupd: image: nsqio/nsq command: /nsqlookupd --broadcast-address=192.168.2.106 ports: - "4160:4160" - "4161:4161" nsqd: image: nsqio/nsq ...
2020-04-01 17:51:21
835
原创 vuepress 侧边栏(sidebar) 动态展示配置
vuepress的侧边栏动态配置,研究了好几天终于弄懂了,它使用JSON的数组和对象两种方式配置侧边栏标题,对象针对每个导航变化时,侧边栏随着变动;数组则是针对每个页面内容变化,侧边栏跳转。vuepress官网地址上使用就是。如下图所示:点击介绍>它是如何工作的 、快速上手等可以看到侧边栏不动,右侧内容页面在变化。参考这种方式,我的vuepress的config.js中侧边栏配置如下...
2020-03-15 16:21:37
17253
14
原创 Java 同步JSON字符串至ES(Elasticsearch) 添加时间戳(@timestamp)、版本(@version) 字段
解决方法:仿照logstash同步原理,对于同步json字符串,首先将其解析,然后添加时间戳和版本字段,或其他字段,打入es。 public void insertEs(String jsonStr){ JSONObject jsonObject = JSONObject.parseObject(jsonStr); jsonObject.put("@times...
2020-03-15 08:57:08
3480
原创 Jenkins参数化构建Maven指定模块配置
以项目名称为yyy为例,其有ma、mb、mc模块,其目录结构如下:yyy |---ma |---mb |---mcjenkins配置maven项目时,以参数化构建该项目各个模块。勾选 This project is parameterized Choice Parameter 名称(参数变量名称,后面命令会调用):MODULE 参数(一行一个参数):...
2020-03-09 16:31:04
1518
3
原创 基于腾讯云服务器的Docker环境,使用logstash同步的Kafka中数据时报错partitions have leader brokers without a matching listener
发现是ZK问题,重启ZK后,再同步kafka中数据,logstash日志就正常了。ZK配置如下:docker run --name myzk -p 2181:2181 -d jplock/zookeeperKafka配置如下:docker run -d --name mykafka --publish 9092:9092 --link myzk --env KAFKA_ZOO...
2020-02-26 17:26:11
11016
原创 iframe不起作用原因
Refused to display 'https://gitlab.com/' in a frame because an ancestor violates the following Content Security Policy directive: "frame-ancestors 'self'".检查发现是网站响应头内容安全策略限制(Content-Security-Poli...
2020-02-19 16:53:37
2207
原创 构建伟大的思想体系的重要性
本文章记录本人对生活事物中的思想认识想法,以便对后续对其的客观性、真实性、有效性进行自我验证,已提高本人的知识文化。我认为思想体系应该很重要,一个人只要认识了解了自我的思想,才算是一个合格的“人”。知识体系相比思想体系,我认为它是思想体系的一个补充,除了知识体系,应该还有其他的东西,对其进行补充。这里我暂时跳过。思想,也应该可以理解为意识。如果有了一个强健的思想体系,遇见各种场...
2020-02-04 12:04:14
318
原创 CentOS7 服务器分析挖矿病毒,清理挖矿病毒 tor2web
特征如下:CPU占用一直比较高,初步分析是挖矿程序:系统的crontab –l显示调度列表如下:20 * * * * /root/.aliyun.sh >/dev/null 2>&1查看脚本内容:#!/bin/bashexec &>/dev/nullecho ZXhlYyAmPi9kZXYvbnVsbApleHBvcnQgUEFU...
2019-12-13 15:00:42
4435
Bengio的《Deep Learning》
2018-04-01
牟大恩 的《kafka入门与实践》高清pdf
2018-04-01
《OpenStack实战》与《OpenStack新手开发指南》高清pdf合集
2018-04-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人