python
文章平均质量分 53
SLUMBER_PARTY_
这个作者很懒,什么都没留下…
展开
-
pyspark读取数据库性能优化
dbtable和query配置不能同时存在,选一种即可。里面都可以直接写sql语句如果dbtable是一个表,如果load()后进行where和select,都会把整张表加载进来,耗内存。直接写sql语句比较好。原创 2023-12-03 19:33:15 · 501 阅读 · 0 评论 -
python读取命令行传进来的参数-argparse
添加optional argument,有add_argument(“–a”,type=int,help=“xxx”)默认是可选的,意味着可以不用填写添加positonal argument,add_argument(“a”,type=int,help=“xxx”)默认是不可选,必须填写,否则报错添加flags,标记,开关那种形式 action argument比如,添加一个参数,是否需要打印信息,--verbose表示打印详细信息命令行输入。原创 2023-05-05 20:14:17 · 377 阅读 · 1 评论 -
python中self的含义和使用
python中self的含义,什么时候要用self原创 2022-08-15 23:50:58 · 512 阅读 · 0 评论 -
python正则表达式入门
文章目录1 特殊字符罗列匹配某种字符类型特殊字符1 .:表示匹配除了换行符之外的任何单个字符特殊字符2 *:表示匹配前面的子表达式任意次,包括0次特殊字符3 +:表示匹配前面的子表达式一次或多次,不包括0次特殊字符4 {}:匹配连续多次特殊字符5 \:转义元字符特殊字符6 []:匹配里面任意一个字符特殊字符7 ^:起始位置特殊字符8 $:结束位置特殊字符9 ():组选择特殊字符10 ?:表示匹配前面的子表达式0次或1次2 re包方法2.1 re.match(pattern, string, flags=0)原创 2021-12-05 22:25:33 · 1154 阅读 · 1 评论 -
python-读取目录下所有txt文件并转化为一个excel的多个sheet
读取目录下的所有文件的代码如下。import osfor root, dirs, files in os.walk('./TXT转excel'): print(root) #当前目录路径 print(dirs) #当前路径下所有子目录 print(files) #当前路径下所有非目录子文件将目录下的所有txt文件存入一个excel中,每个txt存入到一个sheet里,分隔符为逗号。import osimport pandas as pdwriter = p原创 2021-08-17 22:50:03 · 1845 阅读 · 3 评论 -
jupyter notebook使用心得,小技巧
一直以来都是个伪python使用者,菜,并且习惯于使用jupyter notebook,不敢用.py程序,现在正在慢慢改正中。但在过程中积累的关于jupyter notebook的使用小心得还是希望能记录下来1 显示目录:安装jupyter notebook插件jupyter_contrib_nbextensions安装这个最开始的想法是希望jupyter notebook有目录功能。1.1 window端如何安装在本地,用conda安装报错,放弃了,然后根据Jupyter Notebook 添加目原创 2021-03-27 15:40:54 · 654 阅读 · 0 评论 -
anaconda-建立和管理python虚拟环境
创建虚拟环境是为了让项目运行在一个独立的局部的Python环境中,使得不同环境的项目互不干扰。目前我使用虚拟环境也只是用来切换python2和python3的。更深层次,以后才能用到吧。1 查看虚拟环境你可以输入下面命令看当前系统已经安装几个虚拟环境。conda env list我的结果是# conda environments: # base /home/my_name/anaconda3 cvxpy ...原创 2020-12-09 11:48:13 · 176 阅读 · 0 评论