2019年12月_条件漫步

12月 11月 04月

转载 PySpark DataFrame show() 设置显示小数点的位数

PySpark DataFrame show() 设置显示小数点的位数How do you set the display precision in PySpark when calling .show()?1 源码及输出示例from math import sqrtimport pyspark.sql.functions as fdata = zip( map(lambda ...

2019-12-30 15:19:57 3154

原创 logging多进程报错：PermissionError: [WinError 32] 另一个程序正在使用此文件，进程无法访问

logging多进程报错：PermissionError: [WinError 32] 另一个程序正在使用此文件，进程无法访问问题重现2019-12-23 13:28:24,415 - INFO: 正在进行D:\Anaconda_program\hangtian_spider\hangkong/data/EI/01.txt文件<RECORD 216>记录的读取--- Loggin...

2019-12-23 14:39:40 7577 6

原创 python 读大文件安全高效方法（readline函数）

python 读大文件安全高效方法（readline函数）with open('filename') as file: # 安全 for line in file: # 高效 do_things(line)理论上：readlines()总体上file.readlines()可以（取决于实现）。循环在C语言层面。内存占用为整个文件，开销大。readline...

2019-12-20 11:34:02 1178

原创 pymysql.err.InternalError: (1054, "Unknown column 'SCI201700.mdb_1' in 'where clause'")

pymysql.err.InternalError: (1054, “Unknown column ‘SCI201700.mdb_1’ in ‘where clause’”)`原代码sql = """select sci_id from %s where sci_id = %s""" % (MySQL_table_name, sci_id)self.cursor.execute(sql)...

2019-12-13 16:18:09 213