自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 北京大学公开课

历史 / 文学 / 考古 / 艺术等为主 65、【概率论】112集,何书元主讲。http://www.bilibili.com/video/av7706616/ 1、【社会学概论】65集,卢晖临主讲。https://www.bilibili.com/video/av11075715/ 2、【...

2020-02-11 17:31:21

阅读数 143

评论数 0

转载 python struct pack unpack

为什么要进行 pack 操作和 unpack 操作 不同类型的语言支持不同的数据类型,比如 Go 有 int32、int64、uint32、uint64 等不同的数据类型,这些类型占用的字节大小不同,而同样的数据类型在其他语言中比如 Python 中,又是完全不同的处理方式,比如 Python ...

2020-02-11 11:42:39

阅读数 11

评论数 0

转载 python queue

queue 模块即队列,特别适合处理信息在多个线程间安全交换的多线程程序中。下面我们对 queue 模块进行一个详细的使用介绍。 1 queue 模块定义的类和异常 queue 模块定义了以下四种不同类型的队列,它们之间的区别在于数据入队列之后出队列的顺序不同。 1.1 queue.Queu...

2020-02-11 10:26:43

阅读数 10

评论数 0

转载 python学习(一)

1.isinstance(object, classinfo) 描述 isinstance() 函数来判断一个对象是否是一个已知的类型,类似 type()。 isinstance() 与 type() 区别: type() 不会认为子类是一种父类类型,不考虑继承关系。 is...

2020-02-10 22:04:37

阅读数 10

评论数 0

原创 ubuntu安装ipset准确姿势

ipset package in Ubuntu ipset: administration tool for kernel IP sets ipset-dbgsym: debug symbols for ipset libipset-dev: development files for IP s...

2020-01-15 10:08:05

阅读数 35

评论数 0

转载 supervise安装与使用

supervise安装与使用 确认当前是否已经安装 which supervise /usr/local/bin/supervise 软件下载安装 ------------------------------------------------------------------------...

2020-01-15 08:57:38

阅读数 35

评论数 0

原创 docker-compose ipv4配置

docker-compose.yml version: "3" services: web: # 服务的名称 image: nginx volumes: # 文件夹映射 - /Users/Documents/www:/usr/share/nginx/html...

2020-01-14 20:09:33

阅读数 49

评论数 0

转载 Redis Master/Slave

Redis的复制(Master/Slave)目录导航: 是什么 能干嘛 怎么玩 复制原理 哨兵模式(sentinel) 复制的缺点 是什么 行话:也就是我们所说的主从复制,主机数据更新后根据配置和策略,自动同步到备机的master/slaver机制,Master以写为主,Slav...

2020-01-14 09:13:40

阅读数 10

评论数 0

转载 python 单元测试框架unittest

官网 unittest 一、测试模型 下面这部分来自于某书籍资料,拿过来,按需参考一下: 测试模型(1)线性测试 1、概念: 通过录制或编写对应应用程序的操作步骤产生的线性脚本。单纯的来模拟用户完整的操作场景。(操作,重复操作,数据)都混合在一起。 2、优点:每个脚本相对独立,且不产生其他...

2020-01-13 10:25:06

阅读数 10

评论数 0

转载 python 测试框架nose (nosetests)

官网文档 nose 1.3.7 documentation 简单介绍 nose是一个比较牛逼的单元测试框架,nose不是python自带模块,这里我才用pip的方式安装 pip install nose 这样就完成了安装,然后再确认下是否安装成功了,直接打开cmd输入noset...

2020-01-13 09:45:14

阅读数 17

评论数 0

转载 yaml详解

一、YAML概念 在运维日常工作中又很多遇到yaml,例如写ansible的playbook,利用yaml来定义创建各应用及服务。 1.1 概念 YAML(发音 /ˈjæməl/)是一个类似 XML、JSON 的数据序列化语言,YAML是专门用来写配置文件的语言,非常简洁和强大,使用比jso...

2020-01-12 16:09:16

阅读数 11

评论数 0

转载 Gitlab Pipeline+Supervisor Python项目CI/CD实战 (二)

三.实战部署 3.1 服务器列表 名称 IP 软件 备注 gitlab-server 10.57.61.138 gitlab-server Gitlab 服务器 gitlab-common-runner 10.57.61.11 gitla...

2020-01-12 15:02:41

阅读数 15

评论数 0

转载 Gitlab Pipeline+Supervisor Python项目CI/CD环境搭建(一)

一.背景 谈到到CI/CD,我们不禁会想到Gitlab + Jenkins + Docker等一些列优秀的工具,Jenkins以其丰富的插件及灵活配置已经非常好的满足我们日常工作中的CI/CD需求,通常的做法为Gitlab配置webhook,开发人员通过push代码或merge request...

2020-01-12 14:59:21

阅读数 30

评论数 0

转载 kafka cpu占用高

一、当前配置 Flink:版本1.4 Flink-Kafka-Connector:0.10.x Kafka-Brokers:3个 Topic-Partitoins:3个 Topic-Replication:2个 二、现象描述 Flink通过Kafka-Connector连接Kafka...

2020-01-09 23:30:26

阅读数 67

评论数 0

转载 kafka生产者消费者demo

一、kafka简介 kafka特性: (1) 通过磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能. (2) 高吞吐量 :即使是非常普通的硬件Kafka也可以支持每秒数百万的消息. (3) 支持通过Kafka服务器和消费机集群来分区消息. (4) 支持...

2020-01-09 23:21:58

阅读数 10

评论数 0

转载 git fetch与pull区别

fetch和pull的区别 1. git fetch:相当于是从远程获取最新版本到本地,但不会自动 merge git fetch origin master git log -p master origin/master git merge origin/master 以上命令的含义: ...

2020-01-09 23:13:05

阅读数 10

评论数 0

转载 git upstream

一个分支的upstream,其实就是与远程分支做关联,告诉git,默认此分支为推送及拉取的远程分支的信息。 upstream的设置 基本设置 1 $ git branch --set-upstream-to=origin/dev 或 ...

2020-01-09 23:11:15

阅读数 15

评论数 0

转载 python queue

队列是一种只允许在一端进行插入操作,而在另一端进行删除操作的线性表。 在Python文档中搜索队列(queue)会发现,Python标准库中包含了四种队列,分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.d...

2020-01-09 23:03:59

阅读数 11

评论数 0

原创 zmq ipc方式进程间通信ipc文件被占用问题

测试步骤 1.启动pub.py -> 启动sub.py -> sub.py可以收到数据,注意这个时候由于pub.py,sub.py是ipc 通讯,会产生ipc通信文件。假如ipc文件为 file.ipc 2.分别ctrl + z 退出pub.py sub.py, 注意这个时候提示...

2020-01-09 00:09:19

阅读数 14

评论数 0

原创 zmq丢消息

问题: 先启动客户端,后启动服务端,为什么还是客户端还是没有收到第一条消息? 分析: 就算先启动客户端,服务端pub出去的一些消息也还是可能没有被收到,因为你启动服务端时,服务端与客户端要建立连接,而这个时候,消息其实已经发出去了,所以你没收到。 解决方案: 服务端绑定套接字后会等待20...

2020-01-02 18:01:15

阅读数 28

评论数 0

转载 zmq订阅/发布模式

zmq订阅/发布模式 server端代码: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 #cod...

2020-01-02 14:15:16

阅读数 21

评论数 0

转载 python **

作为运算符时 ** 在python里面表示幂运算 传递实参和定义形参(所谓实参就是调用函数时传入的参数,形参则是定义函数是定义的参数)的时候,你还可以使用两个特殊的语法:``*`` ** 。 调用函数时使用* ** test(*args)* 的作用其实就是把序列 args 中的每个元素,当...

2019-12-30 15:21:42

阅读数 13

评论数 0

原创 redis 常用命令

redis数据库之间切换 Redis Select 命令用于,数据库索引号 index 用数字值指定,以 0 作为起始索引值。 SELECT index $ select 0 zset 1.查询zset所有key $ keys * 2.计算在有序集合中指定区间分数的成员数 ZC...

2019-12-29 16:58:41

阅读数 14

评论数 0

转载 Elasticsearch 用户指南5.4.0

起步 Elasticsearch 是一个大规模开源的全文搜索和分析引擎,你可以用它来快速(接近实时)存储、搜索和分析大量的数据。通常被用作基础的引擎,或者有复杂的搜索功能和要求的应用的技术支撑。 这儿是一些Elasticsearch简单的使用场景: 在线网站的数据存储,允许你的客户对你售...

2019-12-29 16:46:54

阅读数 13

评论数 0

原创 ElasticSearch 常用命令

1.查看当前所有索引 $curl -XGET 'http://127.1:9200/_cat/indices?pretty&v' health status index pri rep docs.count docs.deleted store.size...

2019-12-29 16:34:48

阅读数 25

评论数 0

转载 12306秒杀系统架构

秒杀系统的艺术 12306抢票,极限并发带来的思考? 每到节假日期间,一二线城市返乡、外出游玩的人们几乎都面临着一个问题:抢火车票!虽然现在大多数情况下都能订到票,但是放票瞬间即无票的场景,相信大家都深有体会。尤其是春节期间,大家不仅使用12306,还会考虑“智行”和其他的抢票软件,全国上下几...

2019-12-28 09:35:12

阅读数 16

评论数 0

转载 es curl快速入门

当前文档所用ES版本 6.4.3 ElasticSearch 提供了一系列的Restful风格的API,我们可以使用curl命令进行使用,也可以在kibana中使用。 Restful风格 它是一种网络应用程序的设计风格和开发方式,基于HTTP,可以使用XML格式定义或JSON格式定义。...

2019-12-26 09:58:54

阅读数 24

评论数 0

转载 docker-compose之间通信

我使用的是networks 把2个docker-compose拉到一个网络组里 首先建立网络组 docker network create app_net 然后把每一个容器都加上 networks: - custom_net 在然后每一个docker-compose.yml都加上 n...

2019-12-24 23:55:35

阅读数 59

评论数 0

原创 No handlers could found for logger "sendmsg"

在send.py没有找到logger句柄 logging.getLogger("pubulic") 在调用log.warn("haha")提示No handlers could found for logger "send" 问题是...

2019-12-23 23:14:17

阅读数 11

评论数 0

原创 ubuntu deepin-wine 微信之后打不开

问题现象: 1.只使用单屏是可以的打开ubuntu 微信的,偶尔然发现使用双屏就开不开微信,并且cpu使用率很高。 2.关闭双屏就能打开 打开后开启双屏拖到主屏就卡死 解决办法: 这个估计还是官方来解决。 目前只能使用单屏先用着。 ...

2019-12-23 15:03:19

阅读数 89

评论数 0

原创 rsyslog 丟日志 打印日志不全

最近使用cat /var/log/syslog总是只能看到少部分日志,经过排查发现是rsyslog输出日志间隔时间相关。 解决方案: echo‘$SystemLogRateLimitInterval 60’ >>/etc/rsyslog.conf echo‘$SystemLogR...

2019-12-22 13:49:47

阅读数 19

评论数 0

转载 ubuntu 微信

ubuntu 微信 Deepin wine for Ubuntu and Debian 一、项目介绍 Deepin-wine 环境的 Ubuntu/Debian 移植版 使用deepin原版二进制文件,解决依赖问题 仅供个人研究学习使用 刚刚适配debian,可能在安装或...

2019-12-21 16:22:31

阅读数 56

评论数 0

转载 kafka 讲解

简介 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个t...

2019-12-18 18:46:04

阅读数 14

评论数 0

转载 python gevent

gevent文档 Python通过yield提供了对协程的基本支持,但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。 gevent是第三方库,通过greenlet实现协程,其基本思想是: 当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的gree...

2019-12-18 11:19:44

阅读数 13

评论数 0

转载 python syslog

最近在写一些命令行守护程序,类似于 Linux 下的一些常运行的程序,除了用到一些常见的IO 以及进程间通信的内容之外,还尝试了一下 Unix 系列的 syslog,在尝试过程中,发现 Python 已经在 logging 模块中很方便得集成了 syslog 的功能,很是方便;但同时,Python...

2019-12-17 14:56:37

阅读数 13

评论数 0

转载 elasticsearch merge

这两周主要看了下 Elasticsearch(其实是Lucene)的 segments 的 merge 流程。事情起因是,线上的ES有些大索引,其中的segments 个数几十个,每个大小100M+,小 segments 若干,而遇到问题就是这些大的 segments 不再做 merge 了,除非...

2019-12-17 14:05:53

阅读数 30

评论数 0

转载 elasticsearch(二) 快速入门

3 ES快速入门 ES作为一个索引及搜索服务,对外提供丰富的REST接口,快速入门部分的实例使用head插件来测试,目的是对ES的使用方法及流程有个初步的认识。 3.1 创建索引库 ES的索引库是一个逻辑概念,它包括了分词列表及文档列表,同一个索引库中存储了相同类型的文档。它就相当于MySQ...

2019-12-17 09:46:57

阅读数 13

评论数 0

转载 elasticSearch(一)介绍

1、 ElasticSearch介绍 1.1 介绍 image.png 官方网址:https://www.elastic.co/cn/products/elasticsearch Github:https://github.com/elastic/elasticsearch 总结: 1、...

2019-12-17 09:28:55

阅读数 16

评论数 0

转载 kafka partition(分区)与 group

1、原理图 2、原理描述 一个topic 可以配置几个partition,produce发送的消息分发到不同的partition中,consumer接受数据的时候是按照group来接受,kafka确保每个partition只能同一个group中的同一个consumer消费,如果想要重复消费...

2019-12-16 19:10:10

阅读数 15

评论数 0

转载 virtualenv隔离的Python运行环境

在开发Python应用程序的时候,系统安装的Python3只有一个版本:3.4。所有第三方的包都会被pip安装到Python3的site-packages目录下。 如果我们要同时开发多个应用程序,那这些应用程序都会共用一个Python,就是安装在系统的Python 3。如果应用A需要jinja ...

2019-12-16 16:25:08

阅读数 12

评论数 0

提示
确定要删除当前文章?
取消 删除