weixin_42226718的博客

原创 naviacat批量执行目录下的所有sql脚本

由于navicat执行sql脚本一次只能一条。就用合并命令合并成一个sql再执行1.cat *.sql >> mergeall.sql2.勾选执行

原创 用navicat将某个mysql数据库重命名

1.先将待命名的数据库database_old里面的表从database_old.xxx都改名为database_new.xxxselect CONCAT(‘RENAME TABLE ‘,TABLE_SCHEMA,’.’,TABLE_NAME,’ to ‘, ‘database_new.’,TABLE_NAME,’;')from information_schema. where TABLE_SCHEMA = ‘database_old’;2.将执行结果拷贝到一个sql里面，在database_new里

原创 使用pandas对几列数据求min-max

关键点：title=['value1','value2']#这种方式应该比apply快df[title]=(df[title] - df[title].min())/(df[title].max()- df[title].min())

原创 dropna的subset用法

1.如果某列里面有na，就去掉行2.如果某几列里面任何一个有na，就去掉

原创 比较两个df中的某几列是否相同

1.按id合并2.筛选出B,C和B_s,C_s相同的行注意如果不使用vlaues，会有ValueError: Can only compare identically-labeled Series objects报错all后面一定要带axis=1的参数才是逐行比较

原创 python读写mysql数据库

一。读1 .密码里面有特殊字符，例如@from urllib.parse import quote_plus#用户名：user1 密码：user1 数据库地址:127.0.0.1:3306 数据库名:db1db_engin='mysql+pymysql://user1:%s@127.0.0.1:3306/db1' %quote_plus('pass@aaa')如果没有特殊字符串#密码passworddb_engin='mysql+pymysql://user1:password@127.0.

原创 pandas的merge

1.通过merge将两个df连接起来待更新

原创 apply的函数传参数

1,方式一 直接指定参数2.方式2:元组传入，从第二个参数开始

原创 mac下安装graphviz

想用graphviz画决策树，结果报错，python包已经安装，应该还有其他问题。---------------------------------------------------------------------------FileNotFoundError Traceback (most recent call last)~/Library/Python/3.8/lib/python/site-packages/graphviz/backend

原创 pandas判断是否为空的赋值

1.下面这种dataframe写法没有告警。批量赋值df.loc[order_pile[‘编号’].isna(),‘编号’] = df[‘另外一个编号’]如果df为series时候：按照如下方法判断是否为空if(pd.isna(df[‘编号’])):df[‘编号’] = df[‘另外一个编号’]...

原创 apply，map，applymap

原创 构造pandas的dataframe数据（从numpy，从series）

œ

原创 pandas日期简介

官网搜索dt，能找到很多dt相关的函数https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.dt.html?highlight=series%20dt#pandas.Series.dt

原创 pandans避免SettingWithCopyWarning

原创 pandas的index用法

1.index可以用于loc查找index的name设置为空2.将index归还到列,每reset一次，都会将index列变成column列Series的第一列为index，第2列为valueindex也可以排序index 可以连接计算

原创 pandas 条件筛选

1.单条件筛选满足条件的行，然后取某一列2.多条件筛选注意小括号不能省略，否则会报错是否存在某个列表中用isin

原创 mac下jupyternotebook 安装Nbextensions

有了Nbextensions之后，才会有代码块提示功能。没有coda，也能安装。在终端输入：（因为我的python是3.8版本的）pip3.8 install jupyter_contrib_nbextensionsjupyter contrib nbextension install --user重启jupyternotebook就可以看到插件了按shift+tab可以看到函数提示按tab有联想功能...

原创 pandas 的axis使用说明

1.axis=0表示所有的列坍塌到一行来计算，结果Series包含列的个数也可以用axis=‘index’表示2.axis=1 表示所有的行坍塌到一列来计算，结果Series包含行的个数也可以用axis=‘columns’表示

原创 pandas选取列

1.df[‘列名’]常规选取一列的用法，或者新增一列2.df.列名,注意事项一：如果列名中间有空格，此方法无效注意事项二：不能和shape或者head这种已经系统有的冲突命名，会使用系统自带的注意事项三：新增一列必须用带【】的方法3.两列字符串连接成新的一列...

原创 关于apply和applymap在使用中的问题

str()函数用在apply和applymap有些奇怪的效果，先记录一下，弄明白了再解释

原创 pandas的groupby的用法

1.新增一列，对某列出现的次数求和。方法一，先用count求每行出现的次数，再用merge方法二：可以用value_counts() 统计每个元素出现的次数

原创 pandas读入CSV的编码问题

读csv文件的时候发现编码方式同一个文件夹里面好几种，于是干脆就写一段代码让他能支持这几个。通过判断UnicodeDecodeError错误码来处理异常 for root, dirs, files in os.walk(dir): for file in files: print(os.path.join(root, file)) fileaddr = os.path.join(root, file) if(f

原创 pandas替换字符串的举例说明

1.将结尾的空格去掉df[‘编号’] = df[‘编号’].replace(regex=r’\b\s+$’, value=’’)2.将一列数据转换为字符串：orderdf[‘code’] = orderdf[‘code’].astype(str)读取CSV时候，里面有些数据前面有=号，去掉=号strtitle=[‘col1’,‘col2’]orderdf[strtitle] = orderdf[strtitle].apply(lambda x: x.str.replace(r’=’, ‘’))

原创 pandas pivot_table用法

DataFrame.pivot_table(values=None, index=None, columns=None, aggfunc=‘mean’, fill_value=None, margins=False, dropna=True, margins_name=‘All’, observed=False, sort=True)重要的几个参数：values：要透视的值columns：透视的列index：分类的索引以pandas手册中的例子说明df = pd.DataFrame({“A”:

原创 pandas读入文件

1.用冒号分割的文本文件：import pandas as pd#为列名unames=['name1','name2','name3','name4']#文档中如果没有列名，header就为none,sep为分隔符df = pd.read_table('csv1.dat',sep='::',header=None,names=unames)参考文档：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_t

原创 Mac下配置jupyernotebook

没有用coda，因为都是pycharm装各种库，所以jupyernotebook也是用它装。1.安装，说明：下载慢的，修改镜像2.使用2.1 如果在pycharm下选择终端运行jupyter notebook，则默认打开的是pycharm当前的目录,点链接即可到达2.如果要指定目录下运行jupternotebook，可以选择在mac的终端下运行。machinelearn（其他随便）即为你指定的目录wqdeMacBook-Pro:machinelearn wq$ jupyer noteboo

原创 jupyterNotebook怎样在每个ceil前面添加运行

我的jupyernotebook的ceil前面默认是没有运行的，只能点到菜单上去，很不方便。搜了一下网上的方法，居然有人因为不要这个也发了个文章。研究了一下，把它加上了，以下是操作步骤步骤1.在对应的位置右键检查元素步骤2.display修改一下就行了...

原创 pandas求季度第几周（周日开始为一周）

文章目录前言一、pandas相关库简介二、使用步骤1.引入库2.读入数据总结前言pandas自带有获取一年中的第几周的函数，但是还是不符合这里的要求，因此写个文章记录一下一、pandas相关库简介这是代码会用到的pandas的日期相关的函数，文档链接如下：1.to_datetime:参考：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.to_datetime.html?highlight=to_datetim

原创 mac下安装homebrew过程

之前网上有很多安装brew连接的地址总是提示错误ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”curl: (7) Failed to connect to raw.githubusercontent.com port 443: Connection refused后来无意中搜到一个帖子说这个，试了一下，果然可以，记录一下，要多试几次，‼️成功了/bin/zsh -c “

原创 mac 下的pycharm配置pyqt5步骤

开始学习pyqt5做界面，在mac下总结了一下安装过程，大家可以参考一 安装步骤1.pycharm+python这个网上配置的教程太多，这里就不啰嗦了2.先下载和安装mac版本的Qt Designerhttps://build-system.fman.io/qt-designer-download2.pycharm下添加PyQt5和qt5-tools安装包Manage Repositories可以选择国内的镜像（速度快），我目前添加了这3个http://mirrors.ali