python
blerli
程序就是生活,生活就是程序。
展开
-
用逻辑回归对mnist数据集实现逻辑回归
代码如下:#-*- coding:utf-8 _*- """ @author:bluesli @file: logistic_regression.py @time: 2018/06/23 """'''逻辑回归是基于数字字符逻辑的,所以英文字母是logistic,而不是logic''''''1:通过input_data 获取数据2:分别获取对应的训练样本(784个像素点)...原创 2018-06-28 20:46:47 · 2384 阅读 · 0 评论 -
python pandas 做数据预处理
1:对于na数据的操作; 1):dropna() 2):fillna() #可以用均值,众数,中位数填充2:统计关联到某一列原创 2018-07-10 18:58:53 · 296 阅读 · 0 评论 -
pandas 自定义函数
虽然说pandas里面确实有很多内置的函数了,但是也不可能满足所有的需求,所以有些时候我们也需要自己定义一些函数来满足自己的需求:那么该如何定义呢:定义之后又该如何用呢:对于函数的定义就很简单了,python自定义函数一样,但是在使用他的时候就需要用到apply了:如:算出每一列空值的个数:def null_count(column): column_null = pd.isnull(col...原创 2018-07-10 19:17:37 · 1943 阅读 · 0 评论 -
pandas Series
从实际意义上说pandas的DataFrame结构是一个矩阵,但是他又不是矩阵,DataFrame 和Series,Series其实是DataFrame的一列数据,多个Series组成了一个DateFrame结构;通过Series可以给一列中的某一个值指定一个索引:如:series_custom= Series(price.value,index=house_info['province'].va...原创 2018-07-10 19:28:20 · 163 阅读 · 0 评论 -
数据预处理案例
最近在做数据处理的一些事情,写一下自己的一些处理方式,可能会比较low,我这份数据是关于售卖房屋的方面的数据:从数据库转存的csv文件,有三百多列,也就是有300多个特征,并且数据的缺失值特别严重,拿到这样一份残缺不全的数据我也是很苦恼,先看一下我的处理方式,我进行数据处理用的是pandas库,大致浏览了一下数据,缺失很多,首先我们需要先统计出每一列的缺失情况,1:由于我的数据最终是要用于去训练模...原创 2018-07-14 21:56:59 · 5407 阅读 · 1 评论 -
数据挖掘之售房数据分析1
最近再做一批关于售房的数据,感觉自己陷入一个死胡同里:该批数据是存储再postgresql里面,是从某售房网站上爬下来的,以数据库中的一列字段作为存储数据,该列字段是以json的数据形式存储的,这里跟我打开了一个新大门,数据库能存储json数据格式的数据,而且postgresql还有一套专门的查询语句详情见:这里:而对于机器学习而言:特征是一列一列的,类似于数据库的列字段一样:所以对于...原创 2018-08-24 22:03:07 · 398 阅读 · 1 评论 -
一个AI产品(数据挖掘)的产生过程
模型的训练一般包括以下步骤:1:数据的输入:一般使用pandas库,他有几种常用的读入不同文件类型的函数:一般我使用read_csv(File_Path,[params]);(对应的文件类型为csv文件,这是数据挖掘中的常用文件格式)2:数据的预处理:1):缺失值的处理:使用方法可以用pandas下的imputing这个方法但是其实自己根据实际问题(结合业务来进行填充可...原创 2018-10-22 14:36:51 · 1126 阅读 · 0 评论 -
pandas 将DataFrame转化成dict
直接转换就行了,key为DataFrame的column;import pandas as pddata = pd.read_csv('./input/month_6_1.csv')print(data.head())data_dict = dict(data)# print(data_dict)print(data_dict.keys())print(type(data_d...原创 2018-10-22 15:36:22 · 11463 阅读 · 0 评论 -
python 中join的用法:
1:join函数:‘separate_character’.join(join_object) join_object must be iterable obejct 2:关于os.path.join函数:合并两个目录os.path.join(path1,*path2)for example: os.path.join('D:\PycharmProject',['\jo...原创 2018-11-09 10:17:39 · 517 阅读 · 0 评论 -
关于python 中 *args 和**kwargs
python 函数参数如果是*arg 那么表示接受任意的列表python 函数参数是**kwargs表示接受任意的字典 注意:args 和kwargs只是一个默认的规则,你用别的名字也无所谓,关键点在*号的个数;...原创 2018-11-09 10:20:53 · 145 阅读 · 0 评论 -
pandas获取指定的列和行
house_info = pd.read_csv('house_info.csv')1:取行的操作:house_info.loc[3:6]类似于python的切片操作2:取列操作:house_info['price'] 这是读取csv文件时默认的第一行索引3:取两列house_info[['price',tradetypename']] 取多个列也是同理的,注意里面是一个list的列表,不然会报...原创 2018-07-09 21:42:09 · 175074 阅读 · 3 评论 -
python pandas的一些操作
现在网上的数据集一般都是csv文件形式的;这里就以csv文件为例进行操作:首先读取csv文件:import pandas as pdhouse_info = pd.read_csv('house_info.csv')2:怎样查看csv文件里面都有哪些类型的数据:print(house_info.dtypes)注意一点就是pandas的string类型的数是object类型的数;3:常用的读文件的操...原创 2018-07-09 21:24:20 · 265 阅读 · 0 评论 -
用简单神经网络对mnist数据集进行训练以及预测并得出精度值
代码和相应的理解思路如下:#-*- coding:utf-8 _*- """ @author:bluesli @file: use_neural_network.py @time: 2018/06/24 """'''数据层n*784(灰度图只有一个通道,所以是784)input_data(n*784)--->(w1,b1)(L1有256神经元)--->(w2,b2)...原创 2018-06-28 20:46:32 · 2621 阅读 · 0 评论 -
用卷积神经网络(CNN)对mnist数据集进行训练以及预测并求出精度值
代码以及详细步骤如下:#-*- coding:utf-8 _*- """ @author:bluesli @file: CNN-convolutional_neural_network.py @time: 2018/06/24 """'''总结,要想写好代码就要自己理解卷积的定义,怎样才能卷积,理解他的形状变换,矩阵乘法一定要学好;卷积神经网络(cnn)与简单神经网络的区别)...原创 2018-06-28 20:46:08 · 6491 阅读 · 1 评论 -
tf.random_shuffle
tf.random_shuffle:沿着张量的第一维度随机打乱张量;如:[[1,2], [[5,6],[3,4], [1,2],[5,6]] ----->>>[3,4]]原创 2018-07-01 21:54:58 · 1472 阅读 · 0 评论 -
tensorflow中模型保存:tf.train.Saver.save,tf.train.train.Saver.restore
在模型的保存中我遇到过一次坑:先留一下悬念,我们先说一下怎样 保存模型和怎样导入模型:模型的保存;代码如下:首先需要申明一个Saver对象:saver = tf.train.Saverwith tf.Session as sess: saver.save(sess,'save_path')这里save_path 就很容易出现:Parent dictionary is not exiting ...原创 2018-07-01 22:12:40 · 2885 阅读 · 0 评论 -
TypeError: not all arguments converted during string formatting
这是在格式化输出的时候出现的问题,需要在格式化的数据后面机上一个逗号原创 2018-07-01 22:29:23 · 310 阅读 · 0 评论 -
tensorflow中的eval函数与session.run() 以及python 内置函数eval的区别
在python中eval作为内置函数:是将字符串转换成表达式计算;如eval('3*3') 结果是9 而tensorflow中的eval函数则是于tensorflow.session.run()有点类似:当有一个tensor量t时,通过t.eval就相当于tf.session.run(t) 了,表达要相对简单一些,但是有一点就是,当有多个tensor量时,eval不能一步就得到tensor的值,而...原创 2018-06-26 22:16:42 · 1579 阅读 · 0 评论 -
tensorflow 中模型的保存 tf.train.saver 函数
首先先来看saver函数的参数列表save( sess, save_path, global_step=None, latest_filename=None, meta_graph_suffix='meta', write_meta_graph=True, write_state=True)可以这样说,常用的两个参数也就是sess和save_path了,一...原创 2018-06-26 22:44:45 · 530 阅读 · 0 评论 -
python numpy 库的一些常用操作
numpy是python的科学计算库之一;非常适合用于矩阵的运算,他的核心就是ndarray;那么他都有那些操作呢:1:首先就是读取文件了,举一个经常操作的文件类型.csv文件使用的是genfromtxt('filename',dtype),但是我们一般不用numpy来读文件有一个建立在numpy基础之上的pandas库更适合来读取文件,并对文件进行处理:2:如果用array定义数组,传进来的是一...原创 2018-07-09 19:33:09 · 446 阅读 · 0 评论 -
numpy中的一些函数操作
1常见函数操作:np.exp(b)np.sqrt(b)np.ones((2,3))2:把多维的矩阵压缩成一维的向量:方法有三种: 1):b.ravel()2):b.flatten()3:还有reshape函数reshape(1,x)3:矩阵的行拼接和列拼接:np.vstack((b,c)) 行拼接np.hstack((b,c))列拼接4:切分数据:也有两种,按行按列切分1:np.hsplit...原创 2018-07-09 19:48:18 · 249 阅读 · 0 评论 -
使用virtualenv 创建指定python版本虚拟环境以及配置
1:pip install virtualenv但是我更建议使用virtualenvwrapper命令更加的简洁 使用workon激活虚拟环境,使用deactivate退出虚拟环境使用virtualenv创建虚拟环境:mkvirtualenv virtualenv_name还可以指定python版本mkvirtualenv -p C://python3/python.exe...原创 2018-11-08 14:19:11 · 1793 阅读 · 0 评论 -
pip freeze 命令迁移
在很多时候我们完成一个python项目之后很想把所需要的库生成一个文件,方便下次使用的时候直接用命令就可以安装,那么这个时候就可以用到pip freeze 的命令了pip freeze >requirements.txt生成一个迁移文件,然后通过命令:pip install -r requirement_path 即可重新安装环境...原创 2018-11-08 14:25:03 · 5356 阅读 · 0 评论 -
关于python os.path模块问题
文件路径: 不难看出:os.getcwd()和os.path.curdir获取得都是当前工作环境得目录而不是脚本的原始位置,而对于os.path.abspath和os.realname都是返回的是脚本的绝对地址,不会跟随脚本位置的变动而变动;一般都会加上内置属性__file__指代当前脚本文件名称;也就是说我们可以通过os.path.abspath(___file__)...原创 2018-11-29 10:22:12 · 381 阅读 · 0 评论 -
python 文档注释和 pip 安装问题
文档注释需要用三重双引号即:""" """用pip安装出错: Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLError(1, '[SSL: CERTIFICATE_VERIFY_FAILED]...转载 2019-01-09 15:03:51 · 458 阅读 · 0 评论 -
ubuntu16.04 virtualenv的安装
ubuntu16.04上virtualenv和virtualenvwrapper安装及使用2018年05月16日 20:19:04 游荡斑马 阅读数:2108 python虚拟环境 01 简介 02 安装 03 配置 04 使用 01 创建运行环境 02 在虚拟环境中安装包 问题 01安装virtualenvwrapper...转载 2019-01-15 15:46:32 · 687 阅读 · 0 评论 -
requests.exceptions.SSLError: HTTPSConnectionPool(
这是需要验证证书,直接给直接在requests请求的时候加上verify=False即可;原创 2019-01-23 09:35:57 · 1486 阅读 · 0 评论 -
python Fatal error in launcher: Unable to create process using '"'
pip错误-failed to create process/fatal error in launcher2018年04月11日 15:29:11 meowing 阅读数:10140电脑同时装了python2和python3,并且都配置了环境变量将python2的python.exe改成python2.exe,python3的python.exe没有改(主要用python2时则可改p...转载 2019-02-18 09:28:37 · 1138 阅读 · 0 评论 -
python linux下安装
原创 2019-03-18 21:04:01 · 88 阅读 · 0 评论 -
python json 坑
当一个json字符串继续进行dumps的时候,dumps了多少次,你就必须loads相应+1 次的次数才能变成dict类型;在flask的网络传输中,不受影响,之后loads一次就可以了,在django网络传输中就受影响,需要loads相应的次数才能变成dict数据;...原创 2019-03-23 16:50:20 · 176 阅读 · 0 评论 -
数组下标问题
python 在用切片的时候最后一个是不包含的;list_test = [0,1,2,3,4,5,6,7,8,9]list_test[0,2]2 下标是不包含的,所以只取到0,1两个数原创 2019-03-29 10:05:16 · 335 阅读 · 0 评论 -
python list,dict,tuple 的合并
1:list:方法一最原始,最笨的方法,分别从两个列表中取出所有的元素,再放入新列表中就OK了。示例代码如下:? 1 2 3 4 5 6 7 8 list1 = [1,2,3] list2 = [4,5,6] list_new = [] for item in list1:...原创 2018-12-11 10:59:34 · 12105 阅读 · 0 评论 -
调试flask+docker+python项目出现的问题:
from celery import Celery这是由于命名和包命名冲突TypeError: super() takes at least 1 argument (0 given) 在python3中才有ModuleNotFoundError: No module named '_ssl'原创 2018-12-04 10:22:26 · 583 阅读 · 0 评论 -
关于python 包的引用
python 的包是通过一个__init__.py文件指定的;并且在导入包的时候最多只能导入包下面py里面的一个类或者是函数,并且这函数不是写在类里面的,有些时候我们可能会出现no module name xxx:这种错误一般是两种情况,1:你的包名错了,2:你的包名所在的目录没有配置到系统路径中导致无法导入;...原创 2018-11-27 16:47:00 · 728 阅读 · 1 评论 -
centos下安装python
安装编译工具:yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel ...转载 2018-11-30 16:23:23 · 102 阅读 · 0 评论 -
关于python模块问题
1:模块名要小写2:当出现无法导入模块的时候可能是以下的情况 1:模块名冲突,这个把我搞惨了在做预测人物的时候定义了一个my_prediction 和do_prediction 的模块名,都不行,这就很迷; 2:未设置系统环境变量3:循环调用问题;用flask的时候,调用app和db;当时未记录,有个印象;4:模块定义不对,python模块是通过文件夹下一个__ini...原创 2018-11-28 10:35:47 · 219 阅读 · 0 评论 -
python 类方法和普通方法
对于普通方法也就是def function(self,[*args,**kwg]):这类的方法,通常这类方法都会用到类的一些变量如果没有用到类中的变量也就是通过__init__(self,[*args,**kwg])下的self.varible)那么最好是定义为类方法比较合适,在模块导入的时候直接通过类+方法名即可,不同再通过类的实例化之后才能调用,一般普通方法,通过类调用...原创 2018-11-28 10:57:46 · 541 阅读 · 0 评论 -
python 日期时间的获取
最简单的方式就是通过time模块:import time now = time.strtime("%Y-%m-%d %H:%M:%S")时间的完整个,你可以去掉后面的只要日期,或者去掉其中的一部分,保留一部分...原创 2018-12-14 09:32:49 · 407 阅读 · 0 评论 -
python 首字母大写
就利用这个函数就可以了capitalize() L1 = ['AdmIn','anny','LUCY','sandY','wILl']def normallize(name): return name.capitalize()L2 = list(map(normallize,L1))print(L2)打印如下:['Admin', 'Anny', 'Lucy', 'Sa...转载 2018-12-14 10:22:03 · 5463 阅读 · 0 评论 -
sshtunnel 建立数据库通道连接
with SSHTunnelForwarder((settings.ssh_host, settings.ssh_port), ssh_password=settings.ssh_password, ssh_username=settings.ssh_username, remote_bind_add...原创 2018-12-14 11:10:25 · 613 阅读 · 0 评论