YJ语

使用psycopg2将一下DataFrame的数据，插入到PostgreSQL的某个模式中，具体方法如下：

在PostgreSQL下有很多个不同模式（SCHEMA），psycopg2连接指定默认public的模式。current transaction is aborted, commands ignored until end of transaction block获取列名字

Python

Python自动化办公，在工作的过程中偶尔会遇到大量的word、ppt转pdf的情况，针对这情况，归纳了一份Python使用，希望可以加大办公的效率！import osimport comtypes.clientdef get_path_for_word(): # 获取当前运行路径 path = os.getcwd() print('当前路径：' + path) # 获取所有文件名的列表 filename_list = os.listdir(path)

在一些数值型类型的，常使用的特征###连续型的统计特征,如均值、方差等##传入：去掉id和label的DataFrame##传出：特征DataFramedef psfeatureTime(data): #data = pd.Series(data) # 均值 df_mean = data.mean(axis=1) # 方差 df_var = data.var(axis=1) # 标准差 df_std = data.std(axis=1)

在处理文件的时候，有些时候会经常使用某个时间范围的数据针对这种天天手写str的情况，写个方法调用~import datetimedef get_before_day(day, before): today = datetime.datetime.strptime(day, '%Y-%m-%d') offset = datetime.timedelta(days=-before) result = (today + offset).strftime('%Y-%m-%d')

一个强强迫症患者，针对一些列的顺序格外难受，利用一下可以改变列的顺序order = ['date', 'time', 'open', 'high', 'low', 'close', 'volumefrom', 'volumeto']df = df[order]

t.BDM[t.标识==‘团批’] = ‘团批’

人物计划管理器（注意不要含中文名字！）最核心只要知道3个参数怎么放程序或者脚本：pyhton.exe(固定格式补需要修改)添加参数：E:\temp2\2020\autodata.py(你python文件的绝对路径)起始于:E:\temp2\anaconda(python.exe的绝对路径)...

Pandas多条件筛选数值正确示范：（注意使用（）和&，不能用and）data[(0.1<data['sentiment']) & (data['sentiment']<0.2)]错误示范：data[(0.1<data['sentiment']) and (data['sentiment']<0.2)]data[0.1<data['sentiment'] & data['sentiment']<0.2]data[(0.1<d

dataframe.to_csv(xxxx,encoding="utf_8_sig")```在pandas中添加上面参数

共同点：return和yield都用来返回值；在一次性地返回所有值场景中return和yield的作用是一样的。不同点：如果要返回的数据是通过for等循环生成的迭代器类型数据（如列表、元组），return只能在循环外部一次性地返回，yeild则可以在循环内部逐个元素返回。...

Python 中列表（ List ）中的 del，remove，和 pop 等的用法和区别popvalue = List.pop(index)1、pop按照索引位置删除元素；2、无参数时默认删除最后一个元素；3、返回删除的元素值remove1、remove 按照值删除，删除单个元素；2、删除首个符合条件的元素；3、返回值为空 Nonedel根据索引位置来删除单个值或指定范围内的值。del是删除引用(变量)而不是删除对象(数据)，对象由自动垃圾回收机制（GC）删除...

Python的垃圾回收机制是以：引用计数器为主，标记清除和分代回收为辅。方式1：引用计数：每个对象内部都维护了一个值，该值记录这此对象被引用的次数，如果次数为0，则Python垃圾回收机制会自动清除此对象。方式2：标记-清除（Mark—Sweep）：被分配对象的计数值与被释放对象的计数值之间的差异累计超过某个阈值，则Python的收集机制就启动方式3：当代码中主动执行 gc.collect() 命令时，Python解释器就会进行垃圾回收。...

python的多线程不能利用多核CPU原因是python的解释器使用了GIL（Global Interpreter Lock），在任意时刻中只允许单个python线程运行。无论系统有多少个CPU核心，python程序都只能在一个CPU上运行。解释：GIL 中文译为全局解释器锁，其本质上类似操作系统的 Mutex。GIL 的功能是：在 CPython 解释器中执行的每一个 Python 线程，都会先锁住自己，以阻止别的线程执行。...

描述zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同，利用 * 号操作符，可以将元组解压为列表。语法zip 语法：zip([iterable, …])参数说明：iterabl – 一个或多个迭代器;返回值 返回元组列表。实例以下实例展示了 zip 的使用方法：a = [1,2,3]b = [4,5,6]c = [4,5,6,7,8]zipped

python中，一切皆为对象 id方法的返回值就是对象的内存地址。 is运算符，如果引用的是同一个对象则返回true，x is y类似 id(x) == id(y)  小整数对象池 [-5, 256] 这些小整数被定义在了一个整数对象池里，当引用小整数时会自动引用整数对象池里的对象，所以这些小整数不会重复创建，当多个变量指向同一个小整数时，实质上它们指向的是同一个对象。 字符串 字符串对象是不可变对象，python有个intern机制，简单说就是维护一个字典，这个字典维护已经

在我们开始讨论浅拷贝和深拷贝的区别之前，首先我们必须清楚什么是赋值？ 在Python中，所谓的赋值实际上就是对象引用的传递而已，当创建一个对象的时候，再赋值给另外一个变量的时候，并不是赋值给另一个变量。而是把这个变量在地址空间的id地址值传递给另一个变量，简单的说就是拷贝了这个对象的引用。看图片，可能比较容易理解。 从图中，我们很容易的看到，a和b两个变量在地址空间中是一样。后来，我们又给a增加一个值89之后，a和b两个地址值还是一样。 浅拷贝 浅拷贝是对一个对象父级（外层）的拷贝，并不会拷贝子级

在.ipynb文件转.py文件中爆 “execution_count”: null的错误改正：在.py文件中，将execution_count对应的null改为None

在进行数据处理时，适当的格式转换可以有效减少内存的使用以下是封装好的一个方法——通过转换数据格式减小数据内存消耗！#输入为DataFrame，输出为DataFrame# 通过转换数据格式减小数据内存消耗def reduce_mem_usage(df): start_mem = df.memory_usage().sum() / 1024**2 print('Memory usage of dataframe is {:.2f} MB'.format(start_mem))

字符串转列表str1 = “hi hello world”print(str1.split(" "))输出： [‘hi’, ‘hello’,world’]列表转字符串l = [“hi”,“hello”,“world”]print(" ".join(l))输出：hi hello world补充：join函数的使用：join() 方法用于将序列中的元素以指定的字符连接生成一个新的字符串。join()方法语法：str.join(sequence)sequence – .

一维的list去重可以用set(list)，但是二维的list转set就会报错 unhashable type: ‘list’原因是set传进来的是不可哈希的变量Python中那么哪些是可哈希元素？哪些是不可哈希元素？可哈希的元素有：int、float、str、tuple不可哈希的元素有：list、set、dict为什么 list 是不可哈希的，而 tuple 是可哈希的（1）因为 list 是可变的在它的生命期内，你可以在任意时间改变其内的元素值。（2）所谓元素可不可哈希，意味着是否使用 h

#设置行不限制数量pd.set_option(‘display.max_rows’,None)#设置列不限制数量pd.set_option(‘display.max_columns’,None)#设置value的显示长度为100，默认为50pd.set_option(‘max_colwidth’,100)

1 写在前面的总结：放在前面的要求——对于groupy的掌握：1 对于分组的实质对于分组的实质有点像sql中groupby的分组——就是拿出满足条件的行，汇集和进行分组排序。可以看成DataFrame（但是是groupby类型）2 分组后的运算（或者统计函数）.mean()函数，对应有数字的列的均值 df.groupby(‘A’).mean().sum()函数，对应分类后数字的列的总数 df.groupby(‘A’).std().等#DataFrame.groupby(by=None,

sklearn 机器学习解题套路框架前言1 整体模型框架1.1 数据集获取：1.2 数据预处理：1.2.1 数据集的规范化1.2.2 数据集的降维1.3 数据集的拆分1.4 模型的选择1.4.1 聚类——sklearn.cluter下提供的聚类方法1.4.2 分类——大多分布在sklearn下的一级模块1.4.3 回归——多分布在sklearn下的一级目录1.5 模型评价1.5.1 metrics下的聚类评价1.5.2 metrics下的分类评价1.5.3 metrics下的回归评价2 K-Mean