自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

元气满满晨

进一步有进一步的欢喜

  • 博客(215)
  • 收藏
  • 关注

原创 自定义背景画词云图(中文)

2)生成一个top30的词频表 word_top_frequency.csv,能看到前30的词及词频。1)生成一张自定义背景(ciyun_backgroup2.png)的词云图片;3.网上下载个停用词词典,如 ChineseStopWords.txt。1.下载中文字体SimHei.ttf,并放到平台的font目录下。对csv文件里面某列所有字符串画词云图(中文的字符)文字打码了,大概可以看到,效果不错。4.Pillow升级到8版本以上。2.网上找个词云背景图下载下。环境:python3。

2023-10-09 20:37:57 296

原创 经典配置中心项目

携程 apollo有赞。

2023-06-13 16:57:46 124

原创 数据库连接数打满问题

当查询语句需要消耗大量的系统资源或需要访问大量数据时,执行时间会限制延长,导致数据库性能下降。连接池:通过预先创建一组数据库连接,并将其保存在内存中,应用程序从连接池中获取连接,使用完毕后放会连接池。1.如果数据库服务器硬件资源允许,可以尝试增加数据库连接数的上限。6.水平扩展数据库:用数据库集群或者分布式数据库。一个服务500case:查下来,是下游数据库连接数打满,导致数据库报错。:是否有慢查询,确保使用合适的索引和优化策略。,复用连接对象减少连接的创建和销毁开销。,避免长时间占用连接资源。

2023-05-19 11:25:41 3037

原创 Redis抖动现象

1)优化Redis配置:合理配置Redis服务器的资源参数,如最大连接数、最大内存限制等,已满足实际需求、减少抖动的可能性。4)监控和调优:监控Redis的性能指标,如响应时间、连接数、内存使用等,及时发现抖动现象,并针对性地进行调优。:Redis服务器同时处理大量并发请求时,如果请求超过了Redis服务器的处理能力,可能出现响应时间抖动。,当Redis面临内存压力,例如内存不足或者频繁的内存回收操作,可能会导致响应时间的抖动。:打到Redis的请求不均匀地分布在不同的资源上,可能导致响应时间的抖动。

2023-05-17 20:23:50 867

原创 工程技术提升专项

我们每天都在沉迷工作,停不下来。每一个项目都认真完成,回过头来,发现自己的经验积累了不少。但是,在输出表达时,想不出来专业的术语,此时,我们需要一个系统的学习。理论需要跟实践同频!立项时间:2023.5.16。

2023-05-17 15:56:00 59

原创 python import路径问题解决

python import路径问题解决背景:utils包和test包同一路径级别下,test包下需要import utils下的类等…如何用,直接上code:import os,sysBASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))sys.path.append(BASE_DIR)...

2022-05-31 16:05:30 405

原创 go http transport源码了解

go http transport源码了解如何用http发送请求几行core code:transport := &http.Transport{ Proxy: http.ProxyFromEnvironment, DialContext: (&net.Dialer{ Timeout: 30 * time.Second, KeepAlive: 30 * time.Second, DualStack: true, }).DialContex

2022-05-09 20:41:55 2512

原创 go开启多个子协程干活、worker

目标go启动多个协程,每个协程做一个任务,实现并行做任务。code示例简单go知识介绍go的并发通过goroutine来处理;func(){}()是go里的匿名函数,{}后面的()是传参数的。如func(a int){…}(100),传了个参数值100;go func(){}开启1个子协程;for+ go func开启多个子协程;go的sync.WaitGroup控制并发的流程;go func()里+defer捕获子协程内部有发生的panic。因为主进程的defer无法捕获子协程中的pan

2021-11-25 17:50:48 3689 2

原创 python小知识点速查 string dict jsonstring bytes 编码转换等

文章目录string转dictstring正常string存在不可打印字符dict转stringdict转 json stringstring转bytes字节流gbk编码转utf-8编码环境背景:python3string转dictstring正常body_str = '{"age": 13, "name": "kk"}'body_dict = eval(body_str)string存在不可打印字符body_str = ''.join(x for x in body_str if x.is

2021-09-10 19:27:19 227

原创 SQL连接查询 JOIN

SQL连接查询 JOIN基本概念看gairuo这个图,一目了然基本语法SELECT <list3>FROM (SELECT <list1> FROM T) AS a<LEFT / RIGHT> JOIN (SELECT <list2> FROM C) AS b ON a.id = b.id AND a.name = b.nameon 为两个表的连接点。a和b为两张基础表。连接方式逻辑join既in

2021-07-22 21:42:54 239

原创 python3 中文乱码 UnicodeEncodeError: ‘latin-1‘ codec can‘t encode characters

报错#!/usr/bin/python3# -*- coding: utf-8 -*-str_1 = '这是中文' # strprint(str_1)报错:UnicodeEncodeError: ‘latin-1’ codec can’t encode characters in position 0-3: ordinal not in range(256)解决方法str_2 = str_1.encode(“utf-8”).decode(“latin1”)str_1 = '这是中文'

2021-07-11 19:21:41 28582

原创 shell脚本测试程序运行时间

code#!/bin/bashstart=$(date +%s)sleep 5;end=$(date +%s)take=$(( end - start ))echo Time taken to execute commands is ${take} seconds.运行结果:Time taken to execute commands is 5 seconds.date命令常用的日期输出格式内容格式示例Unix时间(以秒为单位)%s1559468803

2021-07-11 14:54:16 1215

原创 linux开发机环境问题踩的坑总结

1、/lib64/libc.so.6: version `GLIBC_2.14’ not found报错:/lib64/libc.so.6: version `GLIBC_2.14’ not found/lib64/libc.so.6: version `GLIBC_2.17’ not foundglibc是什么:glibc是linux的GUN C函数库,是linux系统中最底层的API,几乎其它任何运行时库都依赖于glibc。产生原因:linux系统的glibc版本太低,而程序编译使用了

2021-07-02 12:14:10 257

原创 hadoop HDFS常用文件操作命令

hadoop HDFS常用文件操作命令最近用到hdfs,要把跑到的数据存到hdfs上。涉及到一些常用的命令。速查手册先简单理解:用法我先理解为,类似于linux命令前面加个hadoop fs -如,hadoop fs -ls ,hadoop fs -mkdir。显示目录下文件 lshadoop fs -ls查看文件内容 cathadoop fs -cat test.txt建目录 mkdirhadoop fs -mkdir log_data拉hdfs上的文件到本地 gethadoo

2021-06-17 17:13:37 643

原创 jieba分词词性对照表

形容词(1个一类,4个二类)a 形容词ad 副形词an 名形词ag 形容词性语素al 形容词性惯用语区别词(1个一类,2个二类)b 区别词bl 区别词性惯用语连词(1个一类,1个二类)c 连词cc 并列连词副词(1个一类)d 副词叹词(1个一类)e 叹词方位词(1个一类)f 方位词前缀(1个一类)h 前缀后缀(1个一类)k 后缀数词(1个一类,1个二类)m 数词mq 数量词名词 (1个一类,7个二类,5个三类)名词分为以下子类:n 名词

2021-06-15 15:23:12 588

原创 当要索引的字段字符很多时,怎么提高索引效率?—— Mysql前缀索引

这篇写得很好

2021-06-10 21:05:04 192

原创 python 获取昨天凌点的时间戳 获取当天日期、昨天日期

day_time=int(time.mktime(datetime.date.today().timetuple())) - 86400print(day_time)输出:1623168000对应的时间:2021-06-09 00:00:00今天时间:2021-06-10

2021-06-10 14:51:18 746

原创 python 参数值等于None怎么用

def test(query, m=None): """ m: string """ # 看了下,一般都这样写:如果is None时候初始化下 if m is None: m = "" return query + mif __name__ == "__main__": # 既支持这样 query = "辛弃疾" print(test(query)) # 也支持这样 query = "辛弃疾

2021-05-28 16:09:55 2082

原创 python打日志 logging

import logging#设置日志输出格式 asctime:时间, filename:文件名, lineno:行号, # levelname:日志级别, message:日志内容 #datemt=%a星期 %d日期 %b月份 %Y年份 %H:%M:%S时间 logging.basicConfig( level="DEBUG", #设置数据输出级别 filename='xxx.log', #设置日志输出文件 format='%

2021-05-14 15:16:18 228 2

原创 python list转string、.join() 以及常用代码:整合数据:整合同一用户/同一班级下的数据

list是列表,其特点是不定长,所以可以list.append随时增加,也可以insert插入。用哪个函数:"".join()",".join()…待续…

2021-04-18 23:40:34 408

原创 go 对象与对象指针

对象、对象指针回忆一下c语言。看一下这篇博客:go语言传递对象和传递指针对象的区别数组指针、指针数组

2021-04-14 20:59:17 530

原创 Mysql如何建索引

给表正确合理地设计索引可以提升数据查询速度。先看这个。累了,等脑子转的动时候再来补充。

2021-03-31 20:09:24 138

原创 python for line in sys.stdin读文件,按行处理

#eg. demo.pyfor line in sys.stdin: line = line.strip() arr = line.split(',', 2) 调用命令按行读文件:cat *.txt | python demo.py

2021-03-29 20:29:34 5764 1

原创 pymysql.err.OperationalError: (5000, ‘sql decompose ret[-1] error‘)问题

分布式数据库sql语句写对没?!

2021-03-29 00:44:35 1791 1

原创 消息队列

最近开发涉及到了消息队列。大概了解一下原理。看这篇新手也能看懂,消息队列其实很简单。浅显接触我先简单说一下我用到的:原:发送数据到数据库用了消息队列:调用别人的接口,发送数据到消息队列服务器。别人调我的接口来拉消息,写入到数据库。...

2021-03-25 19:20:41 101

原创 golang 无序的键值对集合map

这个demo很好。package mainimport "fmt"func main() { /*创建集合并初始化 */ countryCapitalMap := make(map[string]string) /* map插入key - value对,各个国家对应的首都 */ countryCapitalMap [ "France" ] = "巴黎" countryCapitalMap [ "Italy" ] = "罗马" countryCap

2021-03-25 15:24:19 253

原创 多行字符串怎么分行写 golang、python

1、golangstr := `驾八龙之婉婉兮,载云旗之委蛇。抑志而弭节兮,神高驰之邈邈。奏《九歌》而舞《韶》兮,聊假日以偷乐。陟升皇之赫戏兮,忽临睨夫旧乡。仆夫悲余马怀兮,蜷局顾而不行。乱曰:已矣哉!国无人莫我知兮,又何怀乎故都!既莫足与为美政兮,吾将从彭咸之所居!`2、pythonstr = """驾八龙之婉婉兮,载云旗之委蛇。抑志而弭节兮,神高驰之邈邈。奏《九歌》而舞《韶》兮,聊假日以偷乐。陟升皇之赫戏兮,忽临睨夫旧乡。仆夫悲余马怀兮,蜷局顾而不行。乱曰:已矣哉!国

2021-03-25 12:10:10 868

原创 golang string转int,int转string

这个写业务代码的时候非常常用。1、string转intstrconv.ParseUint(uid, 10, 64)//参数:uid:uid uint64 10: base int64: baseByte intstrconv.ParaseInt()strconv.ParaseBool()strconv.ParaseFloat()2、int、uint、bool、float等转stringcode:strconv.FormatBool(b bool, base int)strcon

2021-03-25 11:40:36 3947

转载 golang 结构体struct、数组、结构体数组 定义与赋值 、json string转struct

看这个文章,看一个structtype oNav struct { Title string URL string}// TData dotype TData struct { Title string SiteName string Keywords string Description string Navs []oNav Data interface{} MiitG

2021-03-15 17:21:35 12379

原创 golang字符串拼接,字符串数组转字符串

1、字符串拼接一般对于少量的字符串拼接可以直接用+来连接,不过最好的方法还是Builder。用buffer.Builder,官方建议用这个。package mainimport ( "fmt")func main() { s1 := "哈哈" s2 := "嘻嘻" var build strings.Builder build.WriteString(s1) build.WriteString(s2) s3 := build.String() fmt.Println(s3)

2021-03-15 17:00:33 12644

原创 shell脚本基础

shell工作中必不可少。今天来系统学习一下shell。文章目录1.shell demo2.shell变量2.1 变量基础2.2 变量赋值2.2 只读变量2.3 删除变量2.4 环境变量3.shell字符串4.shell数组5.传递给脚本的参数6.运算符6.1关系运算符6.2 算术运算符6.3 逻辑运算符6.4 布尔运算符6.if...else for while...1.shell demo#!/usr/bin/env bashecho "hello,shell."上面的文件名:echo.sh

2021-02-09 19:10:22 185

原创 golang基础语言知识

一、基础1.多个形参同一个类型,前面的参数可省略,只在最后写一个类型就可以。func add(x, y int) int {...}形参为int x, int y2.同Python,函数可以返回多个返回值func swap(x, y string) (string, string){ return y, x}main中调用:a, b := swap("oh", "baby")3.可以命名返回值没有参数的return语句会返回已命名的返回值。4.变量1)变量声明:var i in

2021-01-29 17:39:16 337

原创 小总结一下git使用及常见的坑

以下为不理解,只会用版本。一、准备:克隆代码及走对分支以下流程:1、在~拉代码2、git clone克隆代码,复制命令到机器上3、git pull 记得确保拉的最新的4、git brach -a ①确定在哪个分支 ②看将来代码提交的分支有没有5、有:git checkout 分支名X 切换到将来要提交的分支X6、没有:1)git checkout -b 分支名Y 新建分支Y并切换到该分支2)git push 设置远程,远程才会有分支Y,根据报错提示输正确命令git push --set

2021-01-27 21:22:26 1026

转载 同步(Synchronous)和异步(Asynchronous)

这篇博客写的真好。1.同步异步是啥?定义:同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)。同步,就是调用某个东西是,调用方得等待这个调用返回结果才能继续往后执行。异步,和同步相反 调用方不会理解得到结果,而是在调用发出后调用者可用继续执行后续操作,被调用者通过状体来通知调用者,或者通过回掉函数来处理这个调用。比方说:你去商城买东西,你看上了一款手机,能和店家说你一个这款手机,他就去仓库拿货,你得在店里等着

2021-01-26 16:06:21 507

原创 Go入手与避坑

最近模型工程部分需要用到go。第一次用,把需要注意的写一下。我go用的GOPATH管理依赖。1、import的包一定要么在GOPATH,要么在GOROOT不然你执行程序会找不到包,执行不了。我理解的go自带的一些包在GOROOT下,而自己搞到的一些包(自己项目需要依赖的)必须得搞到GOPATH下。简单说,就是 import ("…" …)里的包要么在GOROOT下,要么GOPATH下。所以项目import的包如果没有在的话,就一定要给它加到GOPATH中去。主要分为两种情况:a)要依赖

2021-01-22 20:22:32 416

原创 非常好理解的python re正则表达式入手

文章目录1.目标2.实现3.学习直接写个例子,来入手正则。1.目标目标1:有一行字符串,去掉其中的非中文字符实现1:keep_chinese()函数目标2:有一行字符串,去掉其中的非中文、非英文、非数字字符实现2:keep_2.实现import redef keep_chinese(line): pattern = re.compile(r'[^\u4e00-\u9fa5]') #匹配非中文的字符 chinese = re.sub(pattern,'',line) #将非

2021-01-14 12:12:39 950 1

原创 运行Python脚本常用的一条linux命令

python *.py >./output/res 2>./output/err#把结果写在res里,输出的报错什么的写在err里.../bin/python *.py...#有时候用其他版本python什么的,写全路径cat *.txt | python *.py >./output/res 2>./output/err#从txt文档里面获取输入,做py脚本的相关处理cat .../*.txt | .../python *.py 。。。。。#写全路径...

2021-01-12 20:25:11 171

原创 python 字典基础

文章目录一、先看一个用字典的典型例子1.统计字符串中所有字符出现的次数二、字典1.创建1.1 dict[name]= value方式1.2 用dict()函数转为字典,只要元素和元素之间存在对应关系1.3 dict(zip())法2、字典基本操作2.1 通过 key 访问 value2.2 通过 key 添加 key-value 对2.3 通过 key 删除 key-value 对2.4 通过 key 修改 key-value 对2.5 通过 key 判断指定 key-value 对是否存在2.6 一些方法

2020-12-15 20:58:28 217

原创 pymysql连接数据库,获取数据写入到txt,并从txt读取代码示例(涉及到中文)

def get_conn(): try: conn = pymysql.connect( host = "***", port = ***, user = "***", password = "***", db = "***") except Exception as e: logger.warning(e) finally:

2020-12-11 17:27:13 1092 2

原创 python decode()encode() 编码转换与计算机编码通俗理解

直接说python中的decode encode是用来转码的(编码转换)。decode()英文意思:解码 ,一个人脱了衣服(无论穿什么,脱了都一样)。encode()英文意思:编码,一个人可以穿不同的衣服(穿啥由你决定)。python中脱了衣服都是unicode编码。字符串在python内部表示是unicode。Q:想要将gb18030编码转码为utf-8A:必须先将其解码为unicode,然后再重新编码成utf-8,以unicode为中间人。如,line=‘自然语言处理’,如果是在utf-8

2020-12-11 10:08:15 653 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除