自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

jin-long的专栏

我也要用

原创北京大学公开课

历史 / 文学 / 考古 / 艺术等为主 65、【概率论】112集，何书元主讲。http://www.bilibili.com/video/av7706616/ 1、【社会学概论】65集，卢晖临主讲。https://www.bilibili.com/video/av11075715/ 2、【...

2020-02-11 17:31:21

阅读数 143

评论数 0

转载 python struct pack unpack

为什么要进行 pack 操作和 unpack 操作不同类型的语言支持不同的数据类型，比如 Go 有 int32、int64、uint32、uint64 等不同的数据类型，这些类型占用的字节大小不同，而同样的数据类型在其他语言中比如 Python 中，又是完全不同的处理方式，比如 Python ...

2020-02-11 11:42:39

阅读数 11

评论数 0

转载 python queue

queue 模块即队列，特别适合处理信息在多个线程间安全交换的多线程程序中。下面我们对 queue 模块进行一个详细的使用介绍。 1 queue 模块定义的类和异常 queue 模块定义了以下四种不同类型的队列，它们之间的区别在于数据入队列之后出队列的顺序不同。 1.1 queue.Queu...

2020-02-11 10:26:43

阅读数 10

评论数 0

转载 python学习（一）

1.isinstance(object, classinfo) 描述 isinstance() 函数来判断一个对象是否是一个已知的类型，类似 type()。 isinstance() 与 type() 区别： type() 不会认为子类是一种父类类型，不考虑继承关系。 is...

2020-02-10 22:04:37

阅读数 10

评论数 0

原创 ubuntu安装ipset准确姿势

ipset package in Ubuntu ipset: administration tool for kernel IP sets ipset-dbgsym: debug symbols for ipset libipset-dev: development files for IP s...

2020-01-15 10:08:05

阅读数 35

评论数 0

转载 supervise安装与使用

supervise安装与使用确认当前是否已经安装 which supervise /usr/local/bin/supervise 软件下载安装 ------------------------------------------------------------------------...

2020-01-15 08:57:38

阅读数 35

评论数 0

原创 docker-compose ipv4配置

docker-compose.yml version: "3" services: web: # 服务的名称 image: nginx volumes: # 文件夹映射 - /Users/Documents/www:/usr/share/nginx/html...

2020-01-14 20:09:33

阅读数 49

评论数 0

转载 Redis Master/Slave

Redis的复制（Master/Slave）目录导航：是什么能干嘛怎么玩复制原理哨兵模式（sentinel）复制的缺点是什么行话：也就是我们所说的主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slav...

2020-01-14 09:13:40

阅读数 10

评论数 0

转载 python 单元测试框架unittest

官网 unittest 一、测试模型下面这部分来自于某书籍资料，拿过来，按需参考一下：测试模型（1）线性测试 1、概念：通过录制或编写对应应用程序的操作步骤产生的线性脚本。单纯的来模拟用户完整的操作场景。（操作，重复操作，数据）都混合在一起。 2、优点：每个脚本相对独立，且不产生其他...

2020-01-13 10:25:06

阅读数 10

评论数 0

转载 python 测试框架nose (nosetests)

官网文档 nose 1.3.7 documentation 简单介绍 nose是一个比较牛逼的单元测试框架，nose不是python自带模块，这里我才用pip的方式安装 pip install nose 这样就完成了安装，然后再确认下是否安装成功了，直接打开cmd输入noset...

2020-01-13 09:45:14

阅读数 17

评论数 0

转载 yaml详解

一、YAML概念在运维日常工作中又很多遇到yaml，例如写ansible的playbook，利用yaml来定义创建各应用及服务。 1.1 概念 YAML（发音 /ˈjæməl/）是一个类似 XML、JSON 的数据序列化语言，YAML是专门用来写配置文件的语言，非常简洁和强大，使用比jso...

2020-01-12 16:09:16

阅读数 11

评论数 0

转载 Gitlab Pipeline+Supervisor Python项目CI/CD实战（二）

三.实战部署 3.1 服务器列表名称 IP 软件备注 gitlab-server 10.57.61.138 gitlab-server Gitlab 服务器 gitlab-common-runner 10.57.61.11 gitla...

2020-01-12 15:02:41

阅读数 15

评论数 0

转载 Gitlab Pipeline+Supervisor Python项目CI/CD环境搭建（一）

一.背景谈到到CI/CD，我们不禁会想到Gitlab + Jenkins + Docker等一些列优秀的工具，Jenkins以其丰富的插件及灵活配置已经非常好的满足我们日常工作中的CI/CD需求，通常的做法为Gitlab配置webhook，开发人员通过push代码或merge request...

2020-01-12 14:59:21

阅读数 30

评论数 0

转载 kafka cpu占用高

一、当前配置 Flink：版本1.4 Flink-Kafka-Connector：0.10.x Kafka-Brokers:3个 Topic-Partitoins:3个 Topic-Replication:2个二、现象描述 Flink通过Kafka-Connector连接Kafka...

2020-01-09 23:30:26

阅读数 67

评论数 0

转载 kafka生产者消费者demo

一、kafka简介 kafka特性： (1) 通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能. (2) 高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息. (3) 支持通过Kafka服务器和消费机集群来分区消息. (4) 支持...

2020-01-09 23:21:58

阅读数 10

评论数 0

转载 git fetch与pull区别

fetch和pull的区别 1. git fetch：相当于是从远程获取最新版本到本地，但不会自动 merge git fetch origin master git log -p master origin/master git merge origin/master 以上命令的含义： ...

2020-01-09 23:13:05

阅读数 10

评论数 0

转载 git upstream

一个分支的upstream，其实就是与远程分支做关联，告诉git，默认此分支为推送及拉取的远程分支的信息。 upstream的设置基本设置 1 $ git branch --set-upstream-to=origin/dev 或 ...

2020-01-09 23:11:15

阅读数 15

评论数 0

转载 python queue

队列是一种只允许在一端进行插入操作，而在另一端进行删除操作的线性表。在Python文档中搜索队列（queue）会发现，Python标准库中包含了四种队列，分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.d...

2020-01-09 23:03:59

阅读数 11

评论数 0

原创 zmq ipc方式进程间通信ipc文件被占用问题

测试步骤 1.启动pub.py -> 启动sub.py -> sub.py可以收到数据，注意这个时候由于pub.py,sub.py是ipc 通讯，会产生ipc通信文件。假如ipc文件为 file.ipc 2.分别ctrl + z 退出pub.py sub.py, 注意这个时候提示...

2020-01-09 00:09:19

阅读数 14

评论数 0

原创 zmq丢消息

问题：先启动客户端，后启动服务端，为什么还是客户端还是没有收到第一条消息？分析：就算先启动客户端，服务端pub出去的一些消息也还是可能没有被收到，因为你启动服务端时，服务端与客户端要建立连接，而这个时候，消息其实已经发出去了，所以你没收到。解决方案：服务端绑定套接字后会等待20...

2020-01-02 18:01:15

阅读数 28

评论数 0

转载 zmq订阅/发布模式

zmq订阅/发布模式 server端代码： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 #cod...

2020-01-02 14:15:16

阅读数 21

评论数 0

转载 python **

作为运算符时 ** 在python里面表示幂运算传递实参和定义形参（所谓实参就是调用函数时传入的参数，形参则是定义函数是定义的参数）的时候，你还可以使用两个特殊的语法：``*`` ** 。调用函数时使用* ** test(*args)* 的作用其实就是把序列 args 中的每个元素，当...

2019-12-30 15:21:42

阅读数 13

评论数 0

原创 redis 常用命令

redis数据库之间切换 Redis Select 命令用于，数据库索引号 index 用数字值指定，以 0 作为起始索引值。 SELECT index $ select 0 zset 1.查询zset所有key $ keys * 2.计算在有序集合中指定区间分数的成员数 ZC...

2019-12-29 16:58:41

阅读数 14

评论数 0

转载 Elasticsearch 用户指南5.4.0

起步 Elasticsearch 是一个大规模开源的全文搜索和分析引擎，你可以用它来快速（接近实时）存储、搜索和分析大量的数据。通常被用作基础的引擎，或者有复杂的搜索功能和要求的应用的技术支撑。这儿是一些Elasticsearch简单的使用场景：在线网站的数据存储，允许你的客户对你售...

2019-12-29 16:46:54

阅读数 13

评论数 0

原创 ElasticSearch 常用命令

1.查看当前所有索引 $curl -XGET 'http://127.1:9200/_cat/indices?pretty&v' health status index pri rep docs.count docs.deleted store.size...

2019-12-29 16:34:48

阅读数 25

评论数 0

转载 12306秒杀系统架构

秒杀系统的艺术 12306抢票,极限并发带来的思考? 每到节假日期间,一二线城市返乡、外出游玩的人们几乎都面临着一个问题：抢火车票!虽然现在大多数情况下都能订到票,但是放票瞬间即无票的场景，相信大家都深有体会。尤其是春节期间，大家不仅使用12306，还会考虑“智行”和其他的抢票软件,全国上下几...

2019-12-28 09:35:12

阅读数 16

评论数 0

转载 es curl快速入门

当前文档所用ES版本 6.4.3 ElasticSearch 提供了一系列的Restful风格的API，我们可以使用curl命令进行使用，也可以在kibana中使用。 Restful风格它是一种网络应用程序的设计风格和开发方式，基于HTTP，可以使用XML格式定义或JSON格式定义。...

2019-12-26 09:58:54

阅读数 24

评论数 0

转载 docker-compose之间通信

我使用的是networks 把2个docker-compose拉到一个网络组里首先建立网络组 docker network create app_net 然后把每一个容器都加上 networks: - custom_net 在然后每一个docker-compose.yml都加上 n...

2019-12-24 23:55:35

阅读数 59

评论数 0

原创 No handlers could found for logger "sendmsg"

在send.py没有找到logger句柄 logging.getLogger("pubulic") 在调用log.warn("haha")提示No handlers could found for logger "send" 问题是...

2019-12-23 23:14:17

阅读数 11

评论数 0

原创 ubuntu deepin-wine 微信之后打不开

问题现象： 1.只使用单屏是可以的打开ubuntu 微信的，偶尔然发现使用双屏就开不开微信，并且cpu使用率很高。 2.关闭双屏就能打开打开后开启双屏拖到主屏就卡死解决办法：这个估计还是官方来解决。目前只能使用单屏先用着。 ...

2019-12-23 15:03:19

阅读数 89

评论数 0

原创 rsyslog 丟日志打印日志不全

最近使用cat /var/log/syslog总是只能看到少部分日志，经过排查发现是rsyslog输出日志间隔时间相关。解决方案： echo‘$SystemLogRateLimitInterval 60’ >>/etc/rsyslog.conf echo‘$SystemLogR...

2019-12-22 13:49:47

阅读数 19

评论数 0

转载 ubuntu 微信

ubuntu 微信 Deepin wine for Ubuntu and Debian 一、项目介绍 Deepin-wine 环境的 Ubuntu/Debian 移植版使用deepin原版二进制文件，解决依赖问题仅供个人研究学习使用刚刚适配debian，可能在安装或...

2019-12-21 16:22:31

阅读数 56

评论数 0

转载 kafka 讲解

简介 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个t...

2019-12-18 18:46:04

阅读数 14

评论数 0

转载 python gevent

gevent文档 Python通过yield提供了对协程的基本支持，但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。 gevent是第三方库，通过greenlet实现协程，其基本思想是：当一个greenlet遇到IO操作时，比如访问网络，就自动切换到其他的gree...

2019-12-18 11:19:44

阅读数 13

评论数 0

转载 python syslog

最近在写一些命令行守护程序，类似于 Linux 下的一些常运行的程序，除了用到一些常见的IO 以及进程间通信的内容之外，还尝试了一下 Unix 系列的 syslog，在尝试过程中，发现 Python 已经在 logging 模块中很方便得集成了 syslog 的功能，很是方便；但同时，Python...

2019-12-17 14:56:37

阅读数 13

评论数 0

转载 elasticsearch merge

这两周主要看了下 Elasticsearch（其实是Lucene）的 segments 的 merge 流程。事情起因是，线上的ES有些大索引，其中的segments 个数几十个，每个大小100M+，小 segments 若干，而遇到问题就是这些大的 segments 不再做 merge 了，除非...

2019-12-17 14:05:53

阅读数 30

评论数 0

转载 elasticsearch(二) 快速入门

3 ES快速入门 ES作为一个索引及搜索服务，对外提供丰富的REST接口，快速入门部分的实例使用head插件来测试，目的是对ES的使用方法及流程有个初步的认识。 3.1 创建索引库 ES的索引库是一个逻辑概念，它包括了分词列表及文档列表，同一个索引库中存储了相同类型的文档。它就相当于MySQ...

2019-12-17 09:46:57

阅读数 13

评论数 0

转载 elasticSearch(一)介绍

1、 ElasticSearch介绍 1.1 介绍 image.png 官方网址：https://www.elastic.co/cn/products/elasticsearch Github：https://github.com/elastic/elasticsearch 总结： 1、...

2019-12-17 09:28:55

阅读数 16

评论数 0

转载 kafka partition（分区）与 group

1、原理图 2、原理描述一个topic 可以配置几个partition，produce发送的消息分发到不同的partition中，consumer接受数据的时候是按照group来接受，kafka确保每个partition只能同一个group中的同一个consumer消费，如果想要重复消费...

2019-12-16 19:10:10

阅读数 15

评论数 0

转载 virtualenv隔离的Python运行环境

在开发Python应用程序的时候，系统安装的Python3只有一个版本：3.4。所有第三方的包都会被pip安装到Python3的site-packages目录下。如果我们要同时开发多个应用程序，那这些应用程序都会共用一个Python，就是安装在系统的Python 3。如果应用A需要jinja ...

2019-12-16 16:25:08

阅读数 12

评论数 0

提示

确定要删除当前文章？

取消删除