- 博客(26)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【无标题】
ini 文件是一种配置文件格式，常用于存储应用程序的配置信息。该格式的文件通常由多个节（section）组成，每个节包含一组键值对（key-value pairs），用于描述应用程序的各种配置选项。.ini 文件的格式通常是简单的文本格式，可以使用任何文本编辑器进行编辑。
2023-07-28 15:57:34
87
原创 No mudule named ‘自己写的模块‘
可以在main.py中 直接调用utils及module1中的load_data.py 和 temp.py下的方法。不能在utils下 load_data.py中调用module1.temp.py中的方法。如果想要调用在utils下load_data.py中加入。
2023-07-27 09:00:18
81
转载 python 递归合并具有相同值类型json
假设所有键具有相同值类型 假设两json具有相同结构即json1与json2有相同的keydef combine(obj1, obj2): for k, v in obj1.items(): if k in obj2: if v.isinstance(v, dict): combine(ojb1, obj2) else: obj1[k] = obj1[k] + o
2022-02-17 10:36:28
467
原创 linux服务器运行python-cx_Oracle:DPI-1047:cannot locate a 64-bit oracle client library:“libclntsh.so“解决办法
问题原因:没安装instantclient Instant Client 下载 适用于 Linux x86-64（64 位） | Oracle 中国下载instantclient-basic-linux.x64-12.2.0.1.0.zip mkdir -p /opt/oracle cd /opt/oracle unzip instantclient-basic-linux.x64-12.2.0.1.0.zip cd /opt/oracle/instantclient_12_2...
2022-01-20 10:12:46
2129
1
原创 多进程解析xml文件及入库
xml文件解析成json字符串import jsonimprot xmltodictdef parse(path): with open(path, encoding="utf8) as f: data = f.read() xmlparse = xmltodict.parse(data) res = json.dumps(xmlparse) return res解析、插入、多进程实例代码# -*- coding: utf-8 -*-
2021-12-13 21:22:59
291
原创 Linux下Anaconda安装及环境变量配置
下载对应版本Anaconda# 安装anaconda3bash Anacodna3xxxxx.sh# 一直点yes yes yes 最终安装完成在终端输入 conda 如果出现“未发现命令” 需要激活环境# 激活环境vim ~/.bashrc# 在末尾添加如下语句,此处路径为anacodda3实际安装路径一般在/root/anaconda3export PATH=/home/xxxx/anacodnae/bin:$PATH# 添加完后激活环境source ~/bashr
2021-12-08 10:21:40
3860
5
原创 anaconda打包环境离线部署
创建环境conda create -n <your-env> python = 3.6进入环境激活conda activate <your-env>安装conda-pack包conda install conda-pack打包你的环境conda pack -n <your-env> # 也可以直接指定你的包名conda pack -n -o output_name.tar.gz...
2021-12-08 10:14:15
3547
原创 Python 多进程实现jpg转pdf
安装pillow库(PIL) pip install pillow 实现jpg 转 pdf from PIL import Imagedef jpg_pdf(img_path, pdf_name): """ jpg图片 convert PDF :param img: 图片路径 :return: PDF名字 eg:a.pdf """ image = Image.open(img_path) img = image..
2021-11-28 11:42:35
2143
原创 MongoDB常用操作
创建数据库/集合 use database_name -- 数据库不存在创建、 存在直接切换show dbs -- 查看所有数据库db.createCollection()-- 创建集合db.<collection>.inset() -- 插入一条数据,默认创建 刚创建的数据库不在数据库列表中，需要插入一些数据才显示 删除数据库/集合 db.dropDatabase() --...
2021-11-01 15:23:15
92
原创 MongoDB安装配置(Linux)
下载/解压 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz -- 下载tar -zxvf mongodb-linux-x86_64-3.0.6.tgz -- 解压mkdir -p /usr/local/mongodb -- 创建指定文件夹mv mongodb-linux-x86_64-3.0.6.tgz/ /usr/local/mongodb -- 解压包拷贝到指定...
2021-11-01 15:08:05
120
原创 SQL 窗口函数
业务需求排名问题：班级成绩排名topN问题：考试前几名学生基本语法<窗口函数> over (partition by <用于分组列名> order by <用于排序列名>)窗口函数：RANK，DENSE_RANK、ROW_NUMBER、聚合函数RANK:有重复排名时，下一位不连续DENSE_RANK：有重复排名时连续ROW_NUMBER:不管重复不重复一律顺序排名专业窗口函数select *, rank() over
2021-10-27 17:21:33
71
原创 实现进度条查看多进程进度
首先需要看下pool.imap() APIimap(func, iterable, chunksize=0)进程池中的该方法会将iterable参数传入的可迭代对象分成chunksize份传递给不同的进程来处理。该方法会返回一个迭代器，通过next方法逐步拿到其运行结果from multiprocessing import Poolfrom multiprocessing import cpu_countimport mathimport osfrom tqdm...
2021-10-22 16:59:00
405
原创 pyspark配置+安装+简单实例测试
最近在研究pyspark，首先把环境配置下，记录如下：作为入门材料，首先看了eat_pyspark_in_10_days里面第一章列举了安装方法，然后照着配置了下，发现自己本地还是跑不起来，故开始一番折腾。 java 1.8.0_301下载 地址链接：https://www.oracle.com/java/technologies/downloads/#java8 这里我是直接下一步下一步默认位置安装（担心出错） 注意：但还是出错了，后面配置环境变量时会遇到路径有空格问题，这...
2021-09-27 21:06:38
1862
原创 Python连接Mysql、Oracle、MongDB实例及批处理
用于个人备忘录，Myql，Oracle, Mongodb相关操作Mysqlimport cx_Oracle as cxhost = "10.0.0.0"user = "usr"port = "1521"password = "password"service_name = "orcl"conn = cx.connect(user, password, "{}:{}/{}".format(host, port, service_name))sql = """sele..
2021-09-25 11:29:42
154
原创 Python 装饰器
记录个人学习记录 装饰器放在一个函数开始的地方、像个帽子一样戴在某个函数头上，和这个函数绑在一起，在我们调用这个函数的时候，第一件事并不是执行这个函数，而是将这个函数作为参数传入他头顶这顶帽子，这顶帽子我们称为装饰器装饰器的作用使代码结构清晰，更加优雅 将实现特定功能的代码封装成装饰器，提高代码复用率，增强代码可读性装饰器可以用来做什么？日志打印器 执行函数前，打印一行日志，输出要执行函数信息 当函数执行完毕，打印日志 import logging...
2021-09-23 14:39:37
54
原创 python 进程池 GIL
Python多进程/多线程GIL线程、进程多进程多进程多进程、多线程选取代码示例GILCpython因为存在GIL（全局解释器锁）导致python无法真正实现并行计算，故多线程/多进程需要了解。线程、进程举例子：进程 = 火车线程 = 车厢一个进程可以包含多个进程，各个进程之间共享资源，多个进程之间切换开销相对于进程较小多个进程之间 不共享资源，进程间切换开销较大GIL 限制同一时间单个进程中只能有一个线程在运行多进程单个进程中只能有一个线程在运行，假如同时启动多个进程，可以在某个进程i
2021-09-22 17:27:06
117
原创 利用pymongo存储大空间文件
@Pymongo GridFSpymongo 存储大文件pymongo执行插入数据库报错、选用Gridfs插入大于16MB文件,查阅材料并记录如下。GridFSGridFS 使用两个集合（collection）存储文件。一个集合是 chunks ，用于存储文件内容的二进制数据；一个集合是 files，用于存储文件的元数据Please see 下面 codefrom pymongo import MongoClientfrom gridfs import *import jsonimport
2021-09-07 19:15:35
330
空空如也
python如何减少多进程内存开销
2021-10-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人