![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
sxf_0123
这个作者很懒,什么都没留下…
展开
-
字符串与变量名相同并根据字符串取出对应变量的值
a_1 = 1a_2 = 2a_3 = 3def foo(str, a_i): # print((type(a_i))) print(str, a_i)for i in range(1, 4): variable = "a_" + "{i}".format(i=i) foo("locals()", locals()[variable]) # 字符...原创 2020-04-21 10:02:03 · 1058 阅读 · 0 评论 -
以excel格式存储文件
import openpyxlbook = openpyxl.Workbook()Sheet =book.activeSheet.title = 'test'#存入xlsx文件r=1for word,count in word_dict.items(): if r==1: #每一列名称Sheet.cell(row=r,column=1,value=...原创 2020-01-09 09:49:56 · 232 阅读 · 0 评论 -
python 移除\ufeff
从csv文件中读取中文时,开头可能出现\ufeff,需要去掉\ufeff出现\ufeff是因为使用的utf-8编码不是utf-8-sig编码。需要使用utf-8-sig打开F=open(r'a.txt',encoding='utf-8-sig')...原创 2020-01-09 09:47:35 · 1295 阅读 · 0 评论 -
花市分词统计
import re, osfrom datetime import datetime, timedeltaimport csvimport jieba.analyse as anls # 关键词提取import openpyxldef clear_word(word_dict): """ remove life-always word :param wor...原创 2020-01-06 16:36:20 · 180 阅读 · 0 评论 -
python 根据字典中value值大小进行排序
temp_dict = {"2": 2, "1": 1, "3": 3, "4": 4}temp = sorted(temp_dict.items(), key=lambda x: x[1], reverse=True) # 按照字典value降序排列print(temp) #[('4', 4), ('3', 3), ('2', 2), ('1', 1)]原创 2019-12-25 21:18:10 · 4618 阅读 · 0 评论 -
python 爬取<span></span>中间标签的内容
# python 爬取<span></span>中间标签的内容html = """<div> <span class='red'>item1</span> <div> <span id='s1'>item2</span> </div></...原创 2019-12-24 20:30:46 · 20421 阅读 · 1 评论 -
开始生成CMM客户信息数据
import gzipimport osimport randomimport reimport timefrom concurrent.futures.thread import ThreadPoolExecutorfrom datetime import datetime, timedeltafrom faker import Fakerfaker = Faker('zh...原创 2019-12-24 17:17:42 · 294 阅读 · 0 评论 -
词云库wordcloud 显示乱码或者不能正常显示问题
词云库wordcloud 显示乱码或者不能正常显示问题原因:wordcloud中字体设置为DroidSansMono.ttf,需要修改所需要的字体,这里需要的字体是simhei.ttffromwordcloudimportWordCloudtemp_list=['花市','举办','交通','地点','方式','时间','档位','黄埔','番...原创 2019-12-24 16:51:45 · 2342 阅读 · 0 评论 -
模拟生成个人电话信息数据和个人基本信息数据
from faker import Fakerimport os, random, gzipimport re, timefrom pypinyin import pinyin, Stylefrom datetime import datetime, timedeltafrom concurrent.futures.thread import ThreadPoolExecutorf...原创 2019-12-19 13:18:12 · 728 阅读 · 0 评论 -
python获取程序运行时间
# 获取程序运行时间# 方法一import timestart = time.time()time.sleep(3)end = time.time()print(end - start)# 3.0000083446502686# 方法二from datetime import datetimeimport timestart = datetime.now()time...原创 2019-12-16 15:23:54 · 227 阅读 · 0 评论 -
python 利用split 方法获取路径最后的文件或者文件夹
import oslocal_filename = "/root/path/treee"filename = os.path.split(local_filename)[1]print(filename)原创 2019-01-03 15:32:20 · 12590 阅读 · 0 评论 -
python 实现字典key和value互换
"""将字典 { "zx": "中兴", "hw": "华为"}转化为{"中兴": "zx","华为": "hw"}"""test_dict = { "zx": "中兴", "hw"原创 2018-12-20 15:53:40 · 1338 阅读 · 0 评论 -
python 获取文件行数
方法一:"对于文件内容比较多,采用enumerate获取文件行数"count = 0for index, line in enumerate(f): count += 1print(count)方法二:"对于文件内容比较少,采用该方法获取文件行数"with open("data/aggregation.txt", 'r') as f: print(len(f.re...原创 2019-01-05 13:22:26 · 24111 阅读 · 1 评论 -
python 执行oracle语句时,出现ORA-0091:invalid character
del_sqls = [ "delete from TP_COPREGION_GIS_zh where gwm_geometry is null;", "delete from GRID_AREA_GIS_zh where gwm_geometry is null;", "delete from tp_grid_zh where gwm_geometry is nu...原创 2018-11-27 16:58:30 · 1198 阅读 · 0 评论 -
python将%Y-%m-%d %H:%M:%S格式字符串改为%Y%m%d%H%M%S
from datetime import datetimetime_str = None 或者 time_str = "" 或者 time_str = "2018-11-27 09:58:25"try: dev_create_time = datetime.strptime(time_str, "%Y-%m-%d %H:%M:%S").strftime("%Y%m%d%H%M%S")...原创 2018-11-27 16:01:51 · 28830 阅读 · 0 评论 -
Pycharm 快捷键
Pycharm高频率使用的快捷键1、ctrl+r //替换2、ctrl+shift+- //代码收缩3、ctrl+shift++ //代码扩展4、ctrl+f //查找5、ctrl+y //删除光标所在行原创 2018-11-01 22:17:54 · 164 阅读 · 0 评论 -
python 实现多个文件合并为一个文件
"""合并多个文件,将第一个文件的第一列追加到第二个文件的第二列,并用逗号分隔"""import osdef merge(path): """ 对多个文件进行合并 前一个文件的列作为第二个文件的第二列, 以此类推 :param path: :return: """ list_name = [] if o原创 2018-10-22 11:52:25 · 3568 阅读 · 0 评论 -
python 操作csv文件
import csvimport osdef write_csv(path): #newline=""是行与行之间不是用换行符分开,默认是用换行符 with open(path + "test.csv", "w", newline="") as f: for i in range(100): list_ = [] ...原创 2018-11-27 17:25:35 · 156 阅读 · 0 评论 -
pykafka 中的broker判断kafka集群的所有ip,topic,
from pykafka import KafkaClientclient = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7.2.15:9092")# client = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7....原创 2018-09-27 17:23:28 · 2107 阅读 · 0 评论 -
python 求value最大的key值
d = {"1": 9, "2": 0, "3": 7, "6": 3, "0": 4, "4": 1}value_1 = max(d, key=d.get)print(value_1)value_2 = max(d,key=lambda x:d[x])print(value_2)value_3 =sorted(d,key=lambda x:d[x])[-1]print(v原创 2018-09-02 21:23:05 · 5886 阅读 · 0 评论 -
计数器(每次调用函数增1)
a = 0def CounterA(): def f(): global a a = a + 1 return a return fs = [0]def CounterB(): def f(): s[0] = s[0] + 1 return s[0] return f原创 2018-08-25 13:26:37 · 2429 阅读 · 0 评论 -
Pycharm 使用Git上传文件或下载文件
Pycharm 使用Git下载Git-2.7.2-32-bit_setup.1457942412.exe 和TortoiseGit-2.4.0.2-64bit.msi,并安装 打开Pycharm。 依次选择File-->Default Setting à Version Control à Git à Path to Git executable 中选择git.exe在Git R...原创 2018-08-21 22:56:51 · 2435 阅读 · 0 评论 -
python 实现保存最新的三份文件,其余删掉
"""对于每天存储文件,文件数量过多,占用空间采用保存最新的三个文件"""from airflow import DAGfrom airflow.operators.python_operator import PythonOperatorfrom airflow.models import Variablefrom sctetl.airflow.utils import date...原创 2018-08-28 21:52:40 · 772 阅读 · 0 评论 -
python 常用操作
1、格式化常用方法code = 1name = 2path_1 = f'{code}_{name}'path_2 = '{0}_{1}'.format(code,name)2、"""获取路径前半部分和后半部分如/root/test/path/stbpref = /root/test/pathsuff = stb"""import osdef _get_g...原创 2018-08-24 14:46:58 · 694 阅读 · 0 评论 -
判断路径是绝对路径还是相对路径
"""判断路径是绝对路径还是相对路径"""import osdef _get_sep(path): if isinstance(path,bytes): return b'/' else: return '/'def isabs(path): s = os.fspath(path) #判断path类型是否str或bytes,...原创 2018-08-24 14:42:56 · 5849 阅读 · 1 评论 -
字符串转化为整数
方法一:from functools import reduceDIGITS = {'0':0,'1':1,'2':2,'3':3,'4':4,'5':5,'6':6,'7':7,'8':8,'9':9}def str2int(s): def char2num(s): return DIGITS[s] return reduce(lambda x,y:x...原创 2018-08-24 10:17:47 · 445 阅读 · 0 评论 -
python 使用队列和多线程实例
from threading import Threadfrom queue import Queuequeues = Queue()def pro_que(): """ 产生队列 :return: """ for i in range(10): queues.put(i) queues.put(None)def...原创 2019-02-18 16:13:17 · 274 阅读 · 0 评论 -
airlfow 三种操作mysql 获取数据方式
#!/usr/bin/env python# -*- coding: utf-8 -*-"""airflow 操作mysql 数据库获取数据的三种方式"""from airflow.hooks.mysql_hook import MySqlHookfrom airflow.hooks.dbapi_hook import DbApiHookdef get_DaApi_data()...原创 2019-03-06 15:31:22 · 3148 阅读 · 0 评论 -
python 通过stomp操作ActiveMQ
windows 下,在cmd 命令下执行 pip install stomp.py 安装stomp# -*-coding:utf-8-*-import stompimport timetopic_name = 'test_topic'listener_name = 'SampleListene'mq_ip = "1.0.0.1"mq_port = 61613class Sa...原创 2019-03-19 16:58:01 · 1406 阅读 · 0 评论 -
计算两个数据的百分比
def str2int(str): """ char to int :param str: :return: """ try: num = int(str) except: num = -1 return numdef get_percentage(num1, num2): """ ...原创 2019-08-12 16:52:32 · 2825 阅读 · 1 评论 -
python 实例方法、类方法、静态方法区别
"""1、实例对象可以调用实例方法、类方法、静态方法2、类可以调用类方法、静态方法3、只有实例方法可以访问实例属性4、实例方法、类方法、静态方法都可以访问类属性"""class getMin(): class_pro = "class_pro" def __init__(self, pro): self.instance_pro = pro ...转载 2019-08-25 11:36:47 · 198 阅读 · 0 评论 -
构造ES创建索引body部分的mappings
"""构造创建索引body部分"""import jsonclass ConstructIndexMap(object): def __init__(self, type="", fields=[]): self.type = type self.fields = fields def mapping(self): b...原创 2019-08-07 10:09:00 · 287 阅读 · 0 评论 -
多线程分块(按字节进行)读取多个文件
"""多线程分块(按字节进行)读取多个文件1、统计文件的大小2、根据线程数对文件大小进行分块3、多线程根据分块行进行读取文件"""import osfrom concurrent.futures.thread import ThreadPoolExecutorimport timedef size_file(file): """ 统计文件大小(字节) ...原创 2019-08-05 23:11:17 · 519 阅读 · 0 评论 -
多线程分块(按行进行)读取多个文件
"""多线程分块(按行进行)读取多个文件1、统计文件的行数2、根据线程数对文件行数进行分块3、多线程根据分块行进行读取文件"""import osfrom concurrent.futures.thread import ThreadPoolExecutorimport timedef wc_file(file): """ 统计文件行数 :retur...原创 2019-08-05 22:33:14 · 1318 阅读 · 0 评论 -
python使用stomp连接activemq
python使用stomp连接activemq一、安装ActiveMQ服务1. 当使用windows时,安装参考:https://blog.csdn.net/WuLex/article/details/78323811 启动:运行activemq.bat2. 当使用linux时,安装参考:https://www.cnblogs.com/andylhc/p/9337628.ht...转载 2019-07-20 16:38:29 · 1373 阅读 · 0 评论 -
去掉组合的多余列数据
temp_field = stb_info.split("|")stb_value = "|".join(temp_field[1:]) # 去掉多余的MAC列原创 2019-04-01 19:18:13 · 152 阅读 · 0 评论 -
python 对存在认证(用户名和密码)的kafka数据进行消费
from kafka import KafkaConsumerfrom datetime import datetime, timedeltafrom confluent_kafka import Consumerimport timetopic_name = 'apk_with_receivetime'f_w = open("/data/test/data_dir/consume...原创 2019-03-18 10:23:44 · 5254 阅读 · 0 评论 -
python 自动识别 文件编码格式,并将原文件编码格式转化为utf-8格式
"""自动识别 文本编码格式"""import chardetdef detectCode(path): with open(path, 'rb') as file: data = file.read(20000) dicts = chardet.detect(data) return dicts["encoding"]def p...原创 2019-03-21 15:22:02 · 4620 阅读 · 0 评论 -
python 操作多线程和多进程
"""python 标准模块,提供ProcessPoolExecutor 进程异步调用ThreadPoolExecutor 线程异步调用"""from concurrent.futures.process import ProcessPoolExecutorfrom concurrent.futures.thread import ThreadPoolExecutorimport t...原创 2019-03-20 22:15:49 · 179 阅读 · 0 评论 -
对于为一个key,对应多个value, 取最新时间的value, 采用{key:[]}结构进行存储, 通过key获取value,采用对value列表升序排列,然后取第一个值
"""对于为一个key,对应多个value,取最新时间的value,采用{key:[]}结构进行存储,通过key获取value,采用对value列表升序排列,然后取第一个值"""test_data = { "1": ["mac|2019-03-29 10:13:20", "mac|2019-03-29 12:13:20", "mac|2019-03-29 09:13:20"]...原创 2019-04-02 14:29:45 · 575 阅读 · 0 评论