Python
树下水月
技术宅
展开
-
发送kafka生产者数据,结果消费者接收不到数据 producer.flush()
生产者的缓冲区是指生产者在发送消息到Kafka集群时暂时存储消息的内存区域。当生产者发送消息时,消息通常首先被写入这个缓冲区,然后在适当的时机被批量发送到Kafka服务器。: 如果消费者组的消费速度较慢,即消费者处理消息的速度低于生产者发送消息的速度,那么消息会在Kafka中的主题分区中积压,直到消费者能够处理它们。: 消息从生产者发送到Kafka服务器,以及从Kafka服务器发送到消费者,都会受到网络延迟的影响。(消息压缩类型)等,这些配置参数会影响消息在缓冲区中停留的时间以及发送的时间间隔。原创 2024-04-07 09:59:59 · 931 阅读 · 0 评论 -
Python TypeError: Object of type ‘Decimal‘ is not JSON serializable 类型错误 无法json
场景:今天使用python 查询了一个MYSQL 数据库的信息 数据库的字段为decimal类型我将结果进行json.dumps报错 TypeError: Object of type 'Decimal' is not JSON serializable。原创 2022-11-21 10:20:20 · 3631 阅读 · 0 评论 -
python中的字节bytes类型 与PHP中的二进制数据的转化
今天有一个场景 python中 使用string.bytes 转为字节类型存储到数据库中,现在我想使用PHP 进行写入,恐一直无法找到对应的处理逻辑,今天总算可以了 写下来与大家一起分享!经过实际测试,基本上将加密字符串存储后,反解出来的字符串就是生成的uuid 即Python与PHP的上面的写法是等价的。原创 2022-10-27 15:49:44 · 596 阅读 · 0 评论 -
Python 将图片流转为其CV2矩阵数据信息
我们常常使用 Python 将图片流转为其CV2矩阵数据信息 以便使用cv2 去实现对图片的处理。原创 2022-10-22 13:26:08 · 1939 阅读 · 0 评论 -
python 根据URL 下载图片 并读取图片二进制流
【代码】python 根据URL 下载图片 并读取图片二进制流。原创 2022-09-18 15:26:38 · 1457 阅读 · 0 评论 -
python中时间转换错误:时间戳转换|带有时区的转换 如何解析ISO 8601格式的日期? 2018-06-25T20:59:31.757+08:00
有个JAVA接口 返回的一个时间为2018-06-25T20:59:31.757+08:00查询了一下 他是一个ISO 8601格式想要的结果是 2018-06-25 20:59:31于是乎找了好多办法 都不好使直接上代码import timeformat1="%Y-%m-%dT%H:%M:%S.%f+08:00"format2="%Y-%m-%d %H:%M:%S"# t1 = "2017-03-15T00:00:00.000+08"t1 = "2018-06-25T20:5原创 2022-01-21 18:05:21 · 1198 阅读 · 0 评论 -
python将列表转换为字符串(含有引号,用逗号间隔)
list1 = [1,2,3,4]str = ','.join(list1)print(str)会输出1,2,3,4但我们想输出'1','2','3','4' 可以运行下面的代码list1 = [1,2,3,4]str = ','.join("'{0}'".format(x) for x in case_id_list)print(str)结果输出 '1','2','3','4' 很Nice若需要输出 "1","2","3","4" 也就其双变双引号 可以运行下面的代...原创 2022-01-20 11:25:13 · 9860 阅读 · 5 评论 -
Python 2.7 安装MySQLdb模块 import MySQLdb
python 2.7 使用import MySQLdb报Traceback (most recent call last): File "<stdin>", line 1, in <module>ImportError: No module named MySqldb于是乎执行一下命令 一下搞定pip install MySQL-python再次执行import MySQLdb 不报错了...原创 2022-01-19 15:08:22 · 1744 阅读 · 0 评论 -
盘点一下 在Python中安装包的三种方法
非商业转载,来自简书-虞大胆的叽叽喳喳-杰作的:在Python中安装包的三种方法 - 简书最近一段时间都在学习 Python3(如果你想部署 Python3 的开发环境,可参考《是时候配置一个Python3的开发环境了》),乘此机会重新回顾了 Python2 的相关知识,在 Python 中,如果想引入第三方包和库,可以通过工具安装,那么这些安装工具背后做了什么是我非常关心的,这篇本文解释了相关知识:Python 有多少种类型的包(Python 历史实在太悠久了)。 Python 包安装工具有哪些转载 2022-01-19 13:46:37 · 2062 阅读 · 1 评论 -
python多线程中为什么要用for遍历所有线程然后依次调用join?
for t in threads: t.join()如果主线程需要获取子线程的状态就join;注释掉运行,那就是主线程不需要获取子线程状态了join 主要用于进程/线程之间的协同,其功能在于等待目的进程/线程执行完毕。...原创 2022-01-19 11:05:22 · 395 阅读 · 0 评论 -
回顾Python 使用requesys 发送POST数据,json数据接收不正常的解决方案
Python版本 2.7.5PHP版本 7.1.29问题 使用python脚本拼接好数据后,使用requests发送到PHP接口中,PHP接收数据时,数据接收并不完整。如下json 数据 案例中 数据没有那么少,实际很多 这里只是案例{ "case_clue_list": { "name": "1", "create_time": "2016-03-29 09:31:36" }, "case_clue_video_images": [{ "cover_im...原创 2021-12-16 14:15:59 · 2649 阅读 · 0 评论 -
Python关于Pv4的IP正则匹配实例
生活中我们对IP地址并不陌生,下面介绍使用Python正则匹配IPv4地址的相关实例下面是IPv4的IP正则匹配实例:简单的匹配给定的字符串是否是ip地址import reif re.match(r"^(?:[0-9]{1,3}\.){3}[0-9]{1,3}$", "236.168.192.1"): print "IP vaild"else: print "IP invaild"精确的匹配给定的字符串是否是IP地址import reif re.match(r"^(?...原创 2021-10-05 20:19:27 · 950 阅读 · 2 评论 -
python 操作redis 队列 使用lrange 命令 返回类型格式类型 坑坑坑!!!
偶然间发现 在使用python 操作队列时 使用rpop 和lindex 命令时,存储的队列数据为json ,打印时,类型为str字符串类型 但使用lrange 命令取队列数据时,返回的为列表类型如图所示使用redis 的rpop命令import sysimport redisredis_condition = redis.StrictRedis(host=127.0.0.1,port=6379,password=123,db=0)keys_list = redis_cond...原创 2021-08-01 17:10:58 · 1561 阅读 · 0 评论 -
Linux 软链接的一些想法与实践 python与python3
先上软链接 鄙人的想法就是window系统的环境变量 应该可以这么理解 下面讲一下软链接在实际中的用法 以python环境配置来讲解今天 在部署Linux的Python环境时,因为后续使用python3环境 一般来说,现在的服务器默认上面都装了两个版本的python假设,你的服务器上只有默认的pyhton低版本pyhton2.6或pyhton2.7,现在因为你的需求,必须要支持pyhton3,否则很多功能就实现不了,又怎么办呢?我以pyhton3.7举例:当输入python...原创 2021-05-26 16:24:23 · 172 阅读 · 0 评论 -
Python如何判断是否存在某个值在字典中并返回该值所对应的key值
有一个使用场景,需要在Python的字典中,根据值获取字典中对应的key值。step1 首先需要判断value值是否存在于字典中dict.values()>>> d = {'1': 'one', '3': 'three', '2': 'two', '5': 'five', '4': 'four'}>>> 'one' in d.values()>>> Truestep1 若值在字典中,返回对应的key值list(dict...原创 2021-05-24 10:02:46 · 15298 阅读 · 0 评论 -
python – 如何将两个列表的元素添加到一个列表中?extend
例如,我有一个这样的列表:list1 = [good, bad, tall, big]list2 = [boy, girl, guy, man]我想做一个这样的列表:list3 = [goodboy, badgirl, tallguy, bigman]我尝试过这样的东西:list3=[]list3 = list1 + list2但这只会包含list1的值所以我用于:list3 = []for a in list1: for b in list2:原创 2021-05-24 09:48:39 · 5265 阅读 · 1 评论 -
Python2.7 confluent_kafka安装不上 改用指定低版本
目前需要使用python2.7 去消费kafka 然后直接pip installconfluent_kafka 一直报错 后执行pip installconfluent_kafka==0.11.5版本不要太高,因为直接pip install的是最新的版本,是只支持Python3原创 2021-05-14 15:49:46 · 577 阅读 · 0 评论 -
使用python 脚本推送json数据到kafka 中间件中
很多事实,我们使用python 脚本,将需要处理的JSON 数据推送到 kafka 中间件中的案例 代码如下:from confluent_kafka import Consumerfrom confluent_kafka import Producerfrom confluent_kafka import KafkaError#创建kafka 连接信息producer_conf = {}producer_conf['bootstrap.servers'] = 'localhost:9.原创 2021-03-03 16:14:44 · 935 阅读 · 1 评论 -
处理 Python-requests请求的超时时间
python程序根据url从互联网上批量下载图片时,设置HTTP或Socket超时,来防止爬虫爬取某个页面时间过长,导致程序卡置不前。我之前开发的一个脚本读取kafka 就是拿图片 后续一直卡在这里。一种解决方案是全局设置:import socketsocket.setdefaulttimeout(t)t:代表经过t秒后,如果还未下载成功,自动跳入下一次操作,此次下载失败另外一种解决方案是:使用timeout 参数可以设定等待连接的秒数,如果等待超时,Requests会抛出异常&g原创 2020-11-19 18:12:37 · 4286 阅读 · 1 评论 -
python 使用sys.setdefaultencoding(‘utf-8‘) 显示中文(中文默认会乱码)
正常情况下,我们在使用python做页面开发时,防止中文出现乱码问题,python2 情况下会使用:如下语句——import sysreload(sys)sys.setdefaultencoding("utf-8")但在python3下,报错:sys.setdefaultencoding('utf-8')AttributeError: module 'sys' has no attribute 'setdefaultencoding'这条语句改为import sysimp原创 2020-11-04 14:29:16 · 1771 阅读 · 0 评论 -
python MySQL 批量插入
在现实生活中,经常会使用到Python 将信息清洗完后插入数据库,但一条条插入势必速度效率跟不上,此时将需要使用批量插入的思维。# coding:utf-8import pymysql# 打开数据库连接db = pymysql.connect(host='localhost', port=3306, user='username', passwd='password', db='database_name', charset='utf8')# 使用原创 2020-10-25 15:58:16 · 1592 阅读 · 0 评论 -
Python json.dump 中文字符的输出
1.在文件开头加入# -*- coding: UTF-8 -*- 或#coding=utf-8 (等号两边不要有空格) Windows的本地默认编码是gbk编码, 只是显示问题, #coding=gbk 也可解决2.Pycharm 设置步骤: (编辑器设置)进入 File -> Settings->Editor > File encodings,将IDE Encoding和Project Encoding设置为utf-8。3.可以在输出...原创 2020-08-21 16:32:02 · 887 阅读 · 0 评论 -
Linux 根据进程号查询运行的目录
背景:因为要查询某个python 运行的目录 方法如下先使用ps 查询进程 如ps aux|grep index.py得到某个pid 如9872然后运行lsls -ail /proc/9872然后查看cwd 即index.py 运行的执行目录原创 2020-07-27 15:56:27 · 587 阅读 · 0 评论 -
Python JAVA接口UTC 时间 '2018-08-06T10:00:00.000Z' 格式转化为本地时间
Python JAVA接口UTC 时间 '2018-08-06T10:00:00.000Z' 格式转化为本地时间方法1import datetimeorigin_date_str= "2019-07-26T08:20:54Z"utc_date = datetime.datetime.strptime(origin_date_str, "%Y-%m-%dT%H:%M:%SZ")loc...原创 2020-01-16 11:51:01 · 1180 阅读 · 0 评论 -
学习Python 资源网站
python 地址https://zixuephp.net/manual-python3.html首页地址https://zixuephp.net/原创 2020-01-10 11:18:38 · 234 阅读 · 0 评论 -
Python 查询数据库 显示字段名
db = MySQLdb.connent(host=server_config["mysql_web"]["host"],port=server_config["mysql_web"]["port"],user=server_config["mysql_web"]["user"],passwd=server_config["mysql_web"]["password"],db=server_co...原创 2019-12-25 17:57:40 · 3327 阅读 · 1 评论 -
Python中 Switch/Case 实现
学习Python过程中,发现没有switch-case,过去写C习惯用Switch/Case语句,官方文档说通过if-elif实现。所以不妨自己来实现Switch/Case功能。方法一通过字典实现def foo(var): return { 'a': 1, 'b': 2, 'c': 3, }.ge...原创 2019-12-10 16:39:56 · 178 阅读 · 0 评论 -
python 请求JAVA 的webservice
1.安装python 扩展 suds-master2.导入包from suds.client import Client3. 连接webserviceclient = Client(url)4.请求 KuaidiQuery 为接口方法 后面为参数,有的直接带实参client.service.KuaidiQuery(Company='EMS', OrderNo...原创 2019-12-10 16:20:10 · 147 阅读 · 0 评论 -
python 数字字符串获取固定长度的数值,不够的左边补0
Python zfill() 方法返回指定长度的字符串,原字符串右对齐,前面填充0语法格式:str.zfill(width),width指定字符串的长度stk_code = 1 stk_code = str(stk_code).zfill(6) print(stk_code ) 输出结果:000001...原创 2019-12-06 16:33:10 · 1289 阅读 · 0 评论 -
Python使用cx_Oracle模块操作Oracle数据库详解
本文实例讲述了Python使用cx_Oracle模块操作Oracle数据库。分享给大家供大家参考,具体如下:ORACLE_SID参数,这个参数是操作系统中用到的,它是描述我们要默认连接的数据库实例,对于一个机器上有多个实例的情况下,要修改后才能通过 conn / as sysdba连接,因为这里用到了默认的实例名。简而言之,打个比方,你的名字叫小明,但是你有很多外号。你父母叫你小明,但是朋...原创 2019-12-02 09:57:18 · 6046 阅读 · 0 评论 -
Flask 中接收与发送json 方式详解
1、利用flask的request.form.get()方法接收from flask import Flaskfrom flask import jsonifyfrom flask import requestimport json @app.route("/login", methods=['POST'])def login(): data_ = request.form....原创 2019-12-02 09:47:59 · 1263 阅读 · 1 评论