python
关注
分享
扫一扫
文章平均质量分 53
小鱼儿的博客
每天付出一点点，让自己变得更强壮！终身学习者，遇见更多优秀的人
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
分别在Windows和linxu中新建python虚拟环境
在Windows中：最好用的办法是安装virtualenvwrapper,这样可以免去每次都要进入对应的文件目录的麻烦安装命令：pip install virtualenvwrapper-win最好加上豆瓣镜像源，可以加快速度记住：要重启cmd命令才能生效。mkvirtualenv py3virtualenv就会在刚才的WORKON_HOME所设置的目...原创 2018-04-01 18:29:58 · 326 阅读 · 0 评论 -
Win10下Tensorflow(GPU版)--趟坑增强版
背景这篇博客是在最火的安装Tensorflow(GPU版)https://blog.csdn.net/weixin_39290638/article/details/80045236的基础上的一些细化版本。按照博主的方法，发现地下评论还是有些小伙伴不能成功安装在安装过程中遇到了一些坑我也说下我的安装过程想分享出来让大家少走弯路。原料Win10上搭建Tenso...原创 2019-04-06 17:59:44 · 5290 阅读 · 0 评论 -
linux 安裝mitmproxy
1.安装mitmproxy下载mitmproxy二进制安装包：https://github.com/mitmproxy/mitmproxy/releases/我下载的版本为mitmproxy-4.0.1-linux.tar.gz下载之后需要解压然后将其配置到环境变量。tar -zxvf mitmproxy-4.0.1-linux.tar.gzsudo mv mitmproxy ...原创 2018-08-17 16:14:06 · 5174 阅读 · 0 评论 -
scrapy中log日志优化【自动定时优化log输出文件，防止文件过大占用系统资源】
Scrapy运行时会输出log日志到本地，导致日志文件会越来越大,时间一长可能会出现资源大部分被日志文件占用的情况。为了查看运行情况又不能全都删除，其实这个日志有用的部分也就是最后那几百行而已，那我们能不能只保留日志中最后的那几行信息，其他过期的日志定期删除了。当然有，这就是我们接下来要做的所以现在可以写一个脚本，来定时更新日志文件，将最后的100行保存下来就好了。首先在项目文件夹新建...原创 2018-08-15 13:50:59 · 2954 阅读 · 2 评论 -
linux中用crontab命令定时执行scrapy项目
进入文件所在目录为了保证此方法可行，我先在所在的目录创建一个测试小demo的脚本，想知道如何执行scrapy项目可以直接跳到后面vi test.sh编写一个每分钟往当前文件中的test.txt中写入111的脚本编写crontab命令crontab -e*/1 * * * * sh ~/python_file/paimai/PAIMAI/test.sh ...原创 2018-08-14 18:56:53 · 2257 阅读 · 0 评论 -
linux 系统下Anaconda的安装【安装python3.6环境首选】
如果你不想使用python3.6的源码安装包，不想各种繁琐的配置命令，那Anacoda里边自带的python3.6环境就最合适不过了，下面来介绍下anacoda的安装过程，~so easy~Anaconda的下载我这里采用的是先在windows下载好安装包后，使用ftp上传到centos7系统目录中点击下载 https://www.anaconda.com/download/#li...原创 2018-08-14 11:14:33 · 39570 阅读 · 5 评论 -
linux系统 由python2.6 升级到python3.4
Linux下Python2的升级方法： 一、下载Python3安装包： 1、在线下载 wget https://www.python.org/ftp/python/3.4.5/Python-3.4.5.tgz 2、下载python3 依赖环境执行： # yum install openssl-devel bzip2-devel expat-devel gdbm-devel ...转载 2018-07-20 09:30:46 · 1033 阅读 · 0 评论 -
解决windows下使用pip install scrapy报错cannot open include file: 'io.h':....问题
问题背景：windows10 + Anacoda3 环境，在使用pip 安装scrapy 安装包时报错：提示要安装Visual C++ Build Tools于是在windows10安装但是我安装完之后，还是报同样的错误，于是Google一下：于是继续下载 windows10 SDK安装包安装后重启，之后执行pip install scrapy 就可以正常安装了...原创 2018-07-25 09:56:19 · 2018 阅读 · 0 评论 -
解决Elasticesearch中传输经纬度坐标（geo-point）无法识别的问题
应用场景：在往Elasticesearch中传输数据的过程中，后台人员无法获取经纬度值，后来在官方文档中查到：地理坐标点（geo-point）是指地球表面可以用经纬度描述的一个点。地理坐标点可以用来计算两个坐标位置间的距离，或者判断一个点是否在一个区域中。地理坐标点不能被动态映射（dynamic mapping）自动检测，而是需要显式声明对应字段类型为geo_point。这也就是说，如果不对经纬度...原创 2018-07-12 16:22:30 · 5227 阅读 · 0 评论 -
解决centos 安装pandas时出现Double requirement given: numpy==1.12.1 from https：.....的错误
错误如下：解决办法： pip3 install pandas --no-build-isolation成功解决！原创 2018-05-24 14:50:52 · 3278 阅读 · 0 评论 -
解决pymysql.err.InternalError: (1054, "Unknown column 'nan' in 'field list'") 的问题
在使用pandas过程中，演讲数据转化成DataFrame格式，但是里边的缺失项会被NAN填充，如果数值是NAN 在将数据写入mysql 时会出现如下错误：可以将DataFrame中的NAN数据用none填充df2 = df.astype(object).where(pd.notnull(df), None)转化之后的df2 数据如下：之后就不会出现报错了。...原创 2018-05-23 18:11:03 · 26357 阅读 · 0 评论 -
解决掉了deepcope后，item_id 个数传递仍然不足的问题
今天花费了一整天的时间改bug,主要是item_id 传递中间出现了遗漏，本来一个页面总共有40个item_id ,但是经过deepcopy后传递给下一个函数的时候只显示有35个，然后一个一个去比对，到底是哪里出现了问题，最后发现是court_url的地址中缺少了一个item_id的参数。因为发现有一些法院地址出现了重复，最后查找法院地址的时候发现里边有3个参数，我当时图省事，以为也不影响结果（...原创 2018-05-17 19:10:57 · 276 阅读 · 0 评论 -
python数据存入mongodb需要账号密码的解决方法并同时解决pymongo报错 pymongo.errors.OperationFailure: Authentication failed.
正确示例如下：import settingimport pymongo def __init__(self): # 链接数据库, 这里只说数据库登录需要帐号密码的情况 self.client = pymongo.MongoClient('mongodb://{0}:{1}@{2}:{3}'.format(settings.MONGO_USER,settings.MO...原创 2018-04-25 10:52:09 · 9977 阅读 · 0 评论 -
sklearn模块中fit_transform()函数和transform()函数之间的区别
一.先说结论 1. fit_transform()的作用就是先拟合数据，然后转化它将其转化为标准形式，一般应用在训练集中。 2. tranform()的作用是通过找中心和缩放等实现标准化，一般用在测试集中。二. 问题背景对于数据预处理中涉及到的fit_transform()函数和transform()函数之间的区别很模糊，查阅了很多资料，这里整理一下：涉及到这两个函数的代码如下：[pyth...转载 2018-04-15 15:06:51 · 10573 阅读 · 1 评论 -
Win10环境+ Anaconda3.6+CUDA9.0 +CUDNN7.0+TensorFlow1.10安装过程全解
Anaconda介绍、安装我之前写的一篇博客https://blog.csdn.net/zaishijizhidian/article/details/81663387Jupyter Notebook安装了Anaconda可以直接在首页登录Jupter Notebookpycharm的安装参考http://www.runoob.com/w3cnote/pychar...原创 2019-04-06 18:20:54 · 363 阅读 · 0 评论