Pandas、Numpy 操作 日常记录

1. DataFrame

1.1 Dataframe 显示所有行、列信息

#显示所有列
pd.set_option('display.max_columns', None)

#显示所有行
pd.set_option('display.max_rows', None)

#设置value的显示长度为100，默认为50
pd.set_option('max_colwidth',100)

1.2. Dataframe 根据某一列排序

df.sort_values(by="sales" , ascending=False)    # by 指定列 ascending

1.3. Dataframe取消科学计数法显示

pd.set_option('float_format', lambda x: '%.3f' % x)

1.4. DF某列转成日期格式

ipos['Date'] = pd.to_datetime(ipos['Date'])

1.5. concat()、merge()、join() 用法

结论：

concat与append是属于拼接操作
concat简略形式,只能在axis=0上进行合并
merge与join属于关联操作，类似于sql中的join操作
merge可以实现列与索引上关联操作，join只能索引上关联操作
关联操作基本上用merge就可以了

1）两个列根据相同的索引进行merge：

df_num1.merge(df_num2, how='left', left_index=True, right_index=True,
             suffixes=('_x', '_y'))

1.6 DataFrame数据重排

from sklearn.utils import shuffle
df = shuffle(df)

1.7 DataFrame修改列名

# 修改列名a，b为A、B。
df.columns = ['A','B']

# 只修改列名a为A
df.rename(columns={'a':'A'})

1.8 直接在原来dataframe上 修改个别cell的值。
例如将df_all中 duration=0的 替换成duration=1,

df_all.loc[df_all.duration == 0, 'duration'] = 1

2. MySQL

2.1. 修改库、表、字段的字符集

alter database <数据库名> character set utf8mb4;
例：alter database db_user character set utf8mb4;

alter table <表名> character set utf8mb4;
例：alter table user character set utf8mb4;

ALTER TABLE <表名> MODIFY COLUMN <字段名> <字段类型> CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
例：ALTER TABLE comment MODIFY COLUMN content VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

3. Jupyter Nobetook

3.1. 添加双内核
在原有python2基础上，添加python3内核

安装：直接命令行输入如下命令
ipython kernel install --name python3  

查看jupyter当前都有哪些内核：
jupyter kernelspec list

4. 模型

4.1. 逻辑回归
对于分类型的特征，特征系数上的正符号告诉我们当这个特征存在时，相对于基线而
言它增加了正向结果的概率。对于连续性的特征，正号表示该特征值的增加，会导致正向
结果的概率增加。系数的大小告诉我们概率增加的幅度