一个技术迷的博客

python操作mongo的简单示例

redis简单操作

设计模式 结构型模式

设计模式的创建型模式

Pandas 行转列 列转行

Pandas 拆分成多行或者多列

文件夹大小

python 项目部署

说到 Python 调试就需要 pdb 这个模块网上关于这个python的调试介绍也很多很详细，但用的比较多的就那么几个，这里只讲一些最常用的。# 示例代码def add(*param): return sum(num for num in param)if __name__ == "__main__": a = 1 b = 2 import pdb; pdb.set_trace() a += 1 b -= 1 result = add(

Pandasdate_range获取两个日期之间所有的日期，并以指定格式输出>>> start_day = "2021-02-20">>> end_day = "2021-03-02">>> import pandas as pd>>> pd.date_range(start_day, end_day).map(lambda x: x.to_pydatetime().strftime('%Y-%m-%d')).to_list

首先需要理解requests 模块requests 模块模块说明requests是使用Apache2 licensed 许可证的HTTP库。用python编写。比urllib2模块更简洁。Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作

数据初始化import pandas as pdimport numpy as npdf = pd.DataFrame({ "user_id": np.arange(1001, 1006), "name": "xiaoming,xiaohong,xiaozhang,xiaowang,xiaoli".split(","), "sex": [1, 1, 0, 0, 1], "English": [98, 97, 95, 93, 96], "Maths": [99,

背景：调用腾讯某个接口返回的是时间戳的形式，本地解析的时间跟腾讯端的时间不一致，经过排查发现是本地没有转化为北京时间，而腾讯端是默认转换为北京时间的。但是却有一个疑惑????，问题一同样是时间戳的转换，不同的机器却是不一样的结果。比如我在在线编辑器上的结果是没有偏移的，而本地执行结果却是有8个小时的偏移的比较过比较多台机器，发现 fromtimestamp 该函数的转化是根据本地的时区来的。现在问题基本明朗了，我本地解析的时候一定是需要转化为北京时间的，时间戳作为一个固定的值，一定只对应一

Python中有很多类只要定义某些特定的方法就能被赋予某种特性，比如基类中__init__() 和 new() 函数，又比如生成器中__next__()方法。上下文管理器中也类似，关键词 为 with … as …：需要实现 enter() 和 exit() 这两个函数，顾名思义，一个是执行之前的操作，一个是执行之后的操作。中间就是我的编写的过程。就拿最常见的 open 举例# 创建一个文件test.txt，若存在则打开，写入Hello Python# 创建/打开文件f = open('test

参考：Python JSONPython 中常见的 json 操作时将json对象转化为 python的字典形式，常见的是对文本解析，这里边转换的时候经常遇到的事格式的问题。在使用json这个模块前，首先要导入json库：import json方法描述json.dumps()将 Python 对象编码成 JSON 字符串json.loads()将已编码的 JSON 字符串解码为 Python 对象json.dump()将Python内置类型序列化为json对象后写

其实pandas 参与数据清洗跟数据库SQL很相似，只是pandas 在计算速度上较SQL会快很多也灵活很多。1、导入导出略2、merge ,concatmerge 相当于 joinconcat 相当于 union3、groupby分组，常跟聚合函数以及窗口函数一起使用，注意：聚合函数使用的时候，之后一般需要merge，因为聚合之后行数变少4、rank一般配合 groupby 使用，不配合 groupby也可使用（就是整个为一组）排序支持各种形式的排序，比如从小到大，比如当前行，从小到

背景：对Excel进行解析和入库技术难点1：对dataframe对象设置列名百度了很多，都是答非所问，这个没有向设置索引列那么简单直接设置哪一列就行了。不过可以通过赋值给df.columns的方式，于是我只需要获取列名的那一行并转化为集合的形式就可以了。 # 指定列名datacolumns = datapd.loc[columnindex].values.tolist()datadf.columns = datacolumns 技术难点2：根据dataframe完成建表，并能够获取每个字段的

#!/usr/bin/env python3# -*- coding: utf-8 -*-import sys, osfrom utils.logutil import register_logerfrom utils.mysqlutil import MySQLUtilfrom utils.confutil import ConfUtilclass RunScript(object): """ 统一作为执行sql脚本和python脚本的入口 table1:

背景：pandas处理大量排序计算，在单进程情况下性能特别慢在接到项目需求的时候，因为存在大量的计算过程，需要调用多个CPU，所以优先考虑多进程实现。开发中遇到的问题：进程间通信一直是一个比较棘手的问题，刚开始我尝试使用自带的manager()方法，不过怎么尝试都不成功，毕竟manager只支持他们提供的那几个对象，比如queue、list、dict等，但是现在我需要将df对象传进去参与计算，这三个df1 = df[['comcode', 'enddate', 'dataflag', 'findu

一、实现逻辑1、调用ElementTree 相关工具2、打开xml 文件3、根据相关语法进行xml 的解析4、打印输出（输出Excel同理）二、运用 ElementTree 进行 xml 解析1、使用ET打开文件# 打开xml文档tree = ET.parse('F:\计算机软件\解析xml\Gis地图数据转换需求\海缆线路经纬度.xml')2、打开根节点doc...

有时候将 python 安装包直接复制并配置环境变量就以为python 环境配置完成了，然而在手动 pip install 的时候却会出现报错。第一个问题就是：pip 不识别， 就是因为pip 没有配置，在网上下载了 pip安装被，并通过安装命令 python setup.py install 安装后，这时候是 pip 能用了。短时间可能用起来不受影响。这边就涉及第三个问题，不能使用国内源...

一、sftp1、使用paramiko模块进行sftp传输，实现在线读取文件，注意paramiko模块存在一些依赖，可能安装的时候会有一些小的障碍。 client = paramiko.SSHClient() client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) client.connect(hos...

首先调用python自带的 logging模块然后直接复制就行（记得修改日志级别和日志文档）然后日志文件和控制台就都能打印了# 创建日志debug_list = {'INFO': logging.INFO, 'DEBUG': logging.DEBUG, 'WARNING': logging.WARNING, 'ERROR': logging.ERROR,'CRITICAL': l...

from multiprocessing import Poolimport timedef getDataPre(): threadnum_total = 5 threadnum = threadnum_total pool = Pool(processes=threadnum_total) # 给每个线程进行标记，并调用多进程执行的函数 whil...

import base64import sys,osfrom Crypto import Randomfrom Crypto.Cipher import AESimport configparserfile_path = os.path.realpath(__file__)bin_path = os.path.split(file_path)[0]base_path = os....

场景：实习接到一个简单的任务，需要查询1000多个表，把每个表名复制到每个文件的select 语句中首先 获取 每一个表名for line in open("D:/test.txt"):将获取的表名 拿出来进行操作，先得到文件夹，我先拷贝模版，进行重命名拿出来字符串 里面含有 \n ，需要用 .rstrip 实现shutil.copy("D:/test1.txt", "...