自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 linux重新启动docker

(1) systemctl stop docker (2) cd /var/lib/docker && mv swarm swarm_bak (3) systemctl start docker (4) docker swarm init --advertise-addr 本机i...

2020-05-29 21:44:48 14 0

原创 Fingerprint has already been taken

>cd ~/.ssh/ >mkdir search_keys #名字随便定 >cd search_keys >pwd (获取当前目录路径,如:/data/duser/.ssh/search_keys) >ssh-keygen 输入上述路径 Generating p...

2020-05-29 20:40:46 25 0

原创 在linux上安装达梦客户端,以及dm_Python

首先,有一点备注下: 1)官方建议不要使用root账号安装,所以新建一个用户dmdba(随便起的) 2)根据我的安装过程,建议最好全部过程,只出了最后的source过程(下面会提到)全部都直接在改用户下进行,包括从本地上传文件到服务器,也是直接上传到该账号下。之前安装过程中,因为使用的是dus...

2020-05-12 21:27:35 125 0

原创 Kafka Producer往 Kafka send数据错误:Kafka Producer error Expiring 1 record(s) for TOPIC:XXXXXX: 30 ms

错误原因提示的是超时,但是按照网上的说法扩大超时限制,也没有卵用。而且,私以为30s已经很长了,我就发送了1条测试数据,总不能还会超时。 所以本质原因肯定是因为zookeeper和kafka之间的什么地方不对,导致中间代理出现问题,才一直发送不成功。所以按照另一种方法,清空zookeeper的所...

2020-04-28 16:46:11 144 0

转载 Elasticsearch如何保证数据不丢失?

在elasticsearch和磁盘之间还有一层cache也就是filesystem cache,大部分新增或者修改,删除的数据都在这层cache中,如果没有flush操作,那么就不能100%保证系统的数据不会丢失,比如突然断电或者机器宕机了,但实际情况是es中默认是30分钟才flush一次磁盘,这...

2020-04-16 22:34:29 51 0

转载 ES 性能调优过程

背景:在数据和服务都准备完成的情况下,打开页面,发现请求需要要几秒才返回; 思路:1.查看搜索接口请求本身耗时情况,排除网络抖动因素,发现搜索接口请求到ES返回结果本身耗时较高; 2.检查每次请求到ES的入参,并在原有参数中加入"profile":true,查看ES处理搜索...

2020-04-14 22:16:08 122 0

转载 ElasticStack系列之九 & master、data 和 client 节点

在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。   默认情况下,elasticsearch 集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。这些功能是由两个属性控制的。     1. node.maste...

2020-04-08 14:23:59 20 0

转载 Elasticsearch系列---Elasticsearch的基本概念及工作原理

基本概念 Elasticsearch有几个核心的概念,花几分钟时间了解一下,有助于后面章节的学习。 NRT Near Realtime,近实时,有两个层面的含义,一是从写入一条数据到这条数据可以被搜索,有一段非常小的延迟(大约1秒左右),二是基于Elasticsearch的搜索和分析操作,耗...

2020-04-08 14:18:59 30 0

转载 Linux 交换分区

一.SWAP 说明 1.1 SWAP 概述 当系统的物理内存不够用的时候,就需要将物理内存中的一部分空间释放出来,以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序,这些被释放的空间被临时保存到Swap空间中,等到那些程序要运行时,再从Swap中恢复保存的数据到...

2020-03-26 22:42:13 52 0

转载 Kafka Shell基本命令

创建kafka topic bin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2 注:partitions指定topic分区数,repl...

2020-03-20 17:33:00 43 0

原创 Python3项目路径导包问题

最近在升级项目,从python2至python3,发现了很多import路径不正确问题。大致分为两类: 1- 路径问题导致 2- 项目文件夹名称不规范,导致和Python自带包名称重复,导致导入出错 针对第1种,表现形式就是import error。解决方法是在执行的.py文件的开头,使...

2020-03-17 14:13:22 49 0

转载 解决redis连接错误:MISCONF Redis is configured to save RDB snapshots, but it is currently not able to...

今天重启游戏服务器在连接redis数据库时突然报错:MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands that may modif...

2020-03-16 19:06:26 26 0

原创 python setup.py install 报错fatal error: Python.h: No such file or directory include Python.h

在Linux使用python3 setup.py install进行安装python包时,一开始是这个错误: py_Dameng.h:8:20: fatal error: Python.h: No such file or directory #include <Python.h>...

2020-03-06 19:06:34 273 0

原创 Centos7 Docker容器中报错 Failed to get D-Bus connection: Operation not permitted

docker run -itd --name *** --privileged=true your_img_tag /usr/sbin/init 注意2点: --privileged=true /usr/sbin/init

2020-03-06 18:26:06 45 0

转载 docker centos 镜像中安装python36详解!生成centos+python36的基础镜像

获取centos镜像 docker pull centos:7.4.1708 启动并进入centos的容器 docker run -i –t centos /bin/bash 下载安装python编译环境依赖 yum -y install openssl-devel bzip2-d...

2020-03-06 14:39:55 94 0

原创 redis和redis-py-cluster版本冲突,导致ImportError: cannot import name 'bytes'

from db_base.redis_base import RedisBase File "/redis_base.py", line 13, in <module> from rediscluster import RedisCluster File &...

2020-03-06 12:09:46 588 0

转载 git stash和git stash pop

一、git pull 拉代码的时候,或者切换分支的时候,防止冲突和不便,,会用到git stash,将工作区内容暂存起来。 比如:为了fix 一个bug,先stash, 使返回到自己上一个commit, 改完bug之后再stash pop, 继续原来的工作。 怎么办: 1、git stash...

2020-02-21 15:04:32 27 0

转载 Tornado 异步协程coroutine原理

协程定义: 协程,又称微线程,纤程。英文名Coroutine。 子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。 所以子程序调用是通过栈实现的,一个线程就是执行一个子程序。 子程序调用总是一个入口,一次返...

2020-02-17 17:35:59 149 0

转载 ElasticSearch底层原理浅析

基本概念 索引(Index) ES将数据存储于一个或多个索引中,索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说,索引相当于SQL中的一个数据库,或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识,并通过引用此名称完成文档的创建、搜索、更新及删除操作。...

2020-02-12 17:36:11 57 0

转载 分步图解平衡二叉树的插入过程(Python实现)

下面这篇博主的介绍很不错,推荐: https://blog.csdn.net/qq_34840129/article/details/80728186

2020-02-11 17:43:22 33 0

原创 elasticsearch 大字段高亮速度慢优化

对大字段在设计mapping时,添加term_vector参数,如下: "description": { "similarity": "customize_bm25", "type&q...

2020-01-14 19:22:08 93 0

原创 elasticsearch update_by_query ConflictError

最近在做项目时,遇到个需求,需要定期根据热搜词频,更新索引中推荐字段的权重,然后就写了个脚本执行。 逻辑也很简单,现获取热搜词,然后使用 update_by_query 对索引中相关item进行更新。一开始单步调试代码测试,都运行正常,但是一旦脚本自动开始执行,就报如下错误: elastics...

2019-12-13 14:50:39 170 0

原创 sublime 给每行text添加字符

操作步骤如下: 1.选中要操作的行(Ctrl+A) 2.Ctrl+Shift+L (待操作状态) 3.如果想在前面添加,则:方向键← ,如果要在后面添加,则:方向键 →(操作这步骤后,可以添加想要添加的字符) ...

2019-12-10 10:58:11 41 0

转载 ElasticSearch之CURL操作

CURL的操作 curl是利用URL语法在命令行方式下工作的开源文件传输工具,使用curl可以简单实现常见的get/post请求。简单的认为是可以在命令行下面访问url的一个工具。在centos的默认库里面是有curl工具的,如果没有请yum安装即可。 curl -X 指定http的请求方法...

2019-12-05 15:42:26 25 0

原创 docker 没有错误日志,镜像服务却启动不成功的,问题排查方式

my_service: image: *** deploy: replicas: 1 networks: - ** secrets: - global.conf ports: - '0.0.0.0:9...

2019-12-03 10:12:38 873 0

原创 python 单例模式,造成子类在继承时,会直接指向单例,被继承类中的方法失效

class RedisBase: __instance = None __first_init = None def __init__(self, ilog, eilog): self._ilog = ilog self._eilog = ...

2019-12-02 18:38:02 105 0

转载 Mac下安装python2和python3共存

一般是python2默认安装了,python3没有安装,这时候一般使用命令:brew install python3进行安装 这里有个基础知识要记录一下,就是不同方法安装python的路径是不一样的,如下所示:   接下来就要看具体步骤了。 1 控制台输入:vim ~/.bash_pr...

2019-11-12 17:43:57 43 0

原创 elasticsearch FORBIDDEN/12/index read-only / allow delete (api)]

往es推数据,发现如下错误: BulkIndexError: ('1 document(s) failed to index.', [{u'index': {u'status': 403, u'_type': u&...

2019-11-07 16:20:08 138 0

原创 linux docker swarm使用registry 构建本地镜像仓库

因为数据安全问题,linux上的docker swarm集群不能直接使用docker pull拉取镜像,每次只能拷贝上传,且三台机器都需要上传镜像,非常耗时间,所以想使用 docker registry构建个本地镜像仓库。 构建步骤: 1:首先需要下载registry镜像,https://hu...

2019-11-07 11:34:19 178 0

原创 Mysql读表,出现事务一直连接,导致锁表的现象

问题:使用select进行查表,出现连接事务一直连接,导致锁表,没办法对表格进行修改操作。单独执行该操作,发现sql查询响应时间为10ms。 解决办法: 在建立conn连接时,设置commit如下: dbconn = MySQLdb.connect(host=sql_conf.MYSQL_...

2019-10-30 17:20:10 64 0

转载 Ceph 分布式存储

前言 最近在学习 kubernetes 过程中,想实现 pod 数据的持久化。在调研的过程中,发现 ceph 在最近几年发展火热,也有很多案例落地企业。在选型方面,个人更加倾向于社区火热的项目,GlusterFS、Ceph 都在考虑的范围之内,但是由于 GlusterFS 只提供对象存储和...

2019-10-16 14:26:08 27 0

转载 Python的Tornado框架的异步任务与AsyncHTTPClient

高性能服务器Tornado Python的web框架名目繁多,各有千秋。正如光荣属于希腊,伟大属于罗马。Python的优雅结合WSGI的设计,让web框架接口实现千秋一统。WSGI 把应用(Application)和服务器(Server)结合起来。Django 和 Flask 都可以结合 guni...

2019-10-14 11:24:32 88 0

转载 Python获取当前时间的前(后)N天,前(后)N周,前(后)N月

获取当前时间的前(后)N天 def get_days_before_today(n=0): ''''' date format = "YYYY-MM-DD HH:MM:SS" ''...

2019-10-11 18:21:11 14 0

转载 解决Git报错:error: You have not concluded your merge (MERGE_HEAD exists).

Git fetch和git pull的区别, 解决Git报错:error: You have not concluded your merge (MERGE_HEAD exists). 2017年02月22日 20:38:28 阅读数:19178 Git fetch和git pull的区别:...

2019-10-09 19:19:20 220 0

原创 Failed to remove network i5unxjx3ahdfrhksw0fmyqpjd: Error response from daemon: network *

使用docker rm ***时,出现错误: Failed to remove network i5unxjx3ahdfrhksw0fmyqpjd: Error response from daemon: network i5unxjx3ahdfrhksw0fmyqpjd not foundFa...

2019-10-09 10:55:28 43 0

转载 Result window is too large, from + size must be less than or equal to: [10000] but was [10025]

使用elasticsearch做分页查询时,当查询记录超过10000时,会报如下错误: Result window is too large, from + size must be less than or equal to: [10000] but was [10025]. See the s...

2019-09-17 16:01:32 897 0

原创 mac上使用 docker-conpose.yml stack deploy方式 启动服务Exited (0) 1 second ago

docker-compose.yml文件内容如下: version: "3.4" services: my_service_name: image: my_image_name deploy: replicas: 1 networks...

2019-08-30 14:40:44 283 0

转载 linux下重启,启动,关闭docker服务

docker启动命令,docker重启命令,docker关闭命令 启动sudosystemctl start docker 守护进程重启 sudo systemctl daemon-reload 重启docker服务 sudosystemctl restart docker 重启docker服务...

2019-08-23 17:00:52 702 0

转载 Mysql大小写区分问题

转载自:https://blog.csdn.net/weixin_42998647/article/details/81808410 今天遇到一个主键冲突的文件, 我看两条记录的主键明明不一样, 一条是大写的JAA, 另外一条是小写的jaa, 莫非是mysql对字段的值不区分大小写, 在网上...

2019-08-08 16:20:59 28 0

原创 docker 修改时区utc为cst

cst可以理解为北京时间,utc是0时区的时间,两者相差8小时; 在容器内部直接执行如下指令即可: cd / && ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime ...

2019-07-31 10:23:43 1223 0

提示
确定要删除当前文章?
取消 删除