Python笔记
杨羊不是羊
这个作者很懒,什么都没留下…
展开
-
python统计占比
统计数据每列的缺失数量ListData.isnull().sum()看的是缺失的占比,所以在这个的基础之上,我们可以在除一个样本数ListData.isnull().sum()/ListData.shape[0]原创 2022-04-13 14:38:19 · 4601 阅读 · 0 评论 -
python中in在list和dict中查找效率
import timequery_lst = [-60000,-6000,-600,-60,-6,0,6,60,600,6000,60000]lst = []dic = {}for i in range(1000000): lst.append(i) dic[i] = 1 start = time.time()for v in query_lst: if v in lst: continueend1 = time.time()for v in原创 2022-02-14 16:38:28 · 1343 阅读 · 0 评论 -
tf.reduce系列中axis是几就是对第几列处理
import numpy as npIn [4]: np.random.randn(2,3) O原创 2021-08-27 16:43:19 · 223 阅读 · 0 评论 -
Python :=海象运算符
官网介绍:Assignment expressions(赋值表达式)python 3.8 新特性网址:https://docs.python.org/3/whatsnew/3.8.html对比下面同一种功能,三种写法:if (n := len(a)) > 10: print(f"List is too long ({n} elements, expected <= 10)")#避免调用两次len()if len(a) > 10: print(f"List is原创 2021-08-03 21:02:28 · 148 阅读 · 0 评论 -
Pyspark写表三步走
def write_table(df_otag_ad_res, df_otag_online, YYYYMMDD, tag_source, tag_table_online): df_otag_ad_res.registerTempTable("res") hql = ''' insert overwrite table ad_tag.f_otag_coverage_monitor_detail partition (dayno=%s,tag_source='%s') sel原创 2021-04-23 12:02:42 · 336 阅读 · 0 评论 -
Python报错ZeroDivisionError: float division by zero
报错:ZeroDivisionError: float division by zero原因:被除数为0https://stackoverflow.com/questions/60324105/float-division-by-zero-python原创 2020-09-24 10:29:25 · 8764 阅读 · 0 评论 -
Python之jupyter网址显示行列
pd.set_option('max_columns',1000)pd.set_option('max_row',300)pd.set_option('display.float_format', lambda x: '%.5f' % x)参考 https://blog.csdn.net/weixin_42811350/article/details/82258529原创 2020-05-26 11:03:12 · 283 阅读 · 0 评论 -
Python之读取数据,处理成字典。
Python之读取大文件到内存中,以字典形式。读取大文件到内存中,以字典形式。方法一:**读取大文件,分批次读取,节省内存,引用了上一篇Python之logging优雅打印日志**#定义全局变量,获取当前路径,并创建存储文件的文件夹abs_path = os.path.abspath('.')DATA_PATH = abs_path + '/dmp_data'if not os.pa...原创 2020-03-27 19:08:03 · 3005 阅读 · 0 评论 -
Python之logging打印优雅的日志
Python之打印优雅的日志import loggingdef config_logger(log_level=logging.INFO, log_file=''): format = '%(asctime)s %(levelname)s %(name)s:%(lineno)d - %(message)s' if log_file: logging.basic...原创 2020-03-26 12:56:46 · 522 阅读 · 0 评论 -
Python之hashlib.md5 免踩坑使用
*Python之hashlib.md5,为什么国际化的md5在python这里不一样了?踩了个小坑。定义md5函数import hashlibdef hl_md5(imei): new_md5 = hashlib.md5() new_md5.update(imei.encode(encoding='utf-8')) return new_md5.hexdigest()...原创 2020-03-25 18:02:02 · 3356 阅读 · 1 评论