Python
文章平均质量分 65
默一鸣
韬光养晦
展开
-
scrapy爬虫出现Forbidden by robots.txt
先说结论,关闭scrapy自带的ROBOTSTXT_OBEY功能,在setting找到这个变量,设置为False即可解决。 使用scrapy爬取淘宝页面的时候,在提交http请求时出现debug信息Forbidden by robots.txt,看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制,防止爬虫来抓取页面,于是在spider中填入各种header信息,伪装成浏览器,结果还是不行。。原创 2016-08-04 15:32:26 · 15304 阅读 · 2 评论 -
10分钟了解pandas-速查手册
《10 Minutes to pandas》的一个简单的翻译,原文在这里。习惯上,我们会按下面格式引入所需要的包:一、 创建对象可以通过 Data Structure Intro Setion 来查看有关该节内容的详细信息。1、可以通过传递一个list对象来创建一个Series,pandas会默认创建整型索引:2、通过传递一个numpy array,时间索引以及列标签来创建一...原创 2018-05-23 15:10:51 · 1821 阅读 · 0 评论 -
linux下用pdb调试python
linux下调试python,对于轻量级的工程,直接print是最简单的方法,但是当变量变多,工程变大的时候,print就会力不从心,linux下也没有界面IDE,所以就用pdb来调试即是最佳选择,也很简单。也可以用更友好的ipdb,不过ipdb不是python的标准库,是需要安装的,用起来是完全一样的,就类似于python和ipython的区别。需要import pdb在需要插入断点的地方用pd...原创 2018-03-29 13:03:43 · 1973 阅读 · 0 评论 -
anaconda conda环境管理命令
conda测试指南在开始这个conda测试之前,你应该已经下载并安装好了Anaconda或者Miniconda注意:在安装之后,你应该关闭并重新打开windows命令行。一、Conda测试过程:使用conda。首先我们将要确认你已经安装好了conda 配置环境。下一步我们将通过创建几个环境来展示conda的环境管理功能。使你更加轻松的了解关于环境的一切。我们将学习如何确认你在哪个环境...原创 2018-02-27 14:45:25 · 87128 阅读 · 7 评论 -
python画图_matplotlib和pandas
[python] view plain copy#encoding:utf-8 ''''' Created on 2015年9月11日 @author: ZHOUMEIXU204 ''' # pylab 是 matplotlib 面向对象绘图库的一个接口。它的语法和 Matlab 十分相近 import pandas原创 2017-08-08 15:10:02 · 662 阅读 · 0 评论 -
virtualenvs error: deactivate must be sourced. Run 'source deactivate' instead of 'deactivate'
自己安装的virtual environment的deactivate方法与anaconda里面的重复了,把anaconda里面的这个命令注释掉,就是改个名字就可以了。错误信息如下:错误原因:workon, which is defined in /usr/local/bin/virtualenvwrapper.sh, calls deactiv原创 2017-03-16 21:23:14 · 1799 阅读 · 0 评论 -
numpy的用法们-边用边记,不断更新
1.数组均分numpy.array_split()>>> x = np.arange(8.0)>>> np.array_split(x, 3) [array([ 0., 1., 2.]), array([ 3., 4., 5.]), array([ 6., 7.])]2.数组叠加合并列合并/扩展:np.column_stack()行合原创 2016-10-25 22:55:48 · 3466 阅读 · 0 评论 -
Matplotlib is building the font cache using fc-list. This may take a moment
/Users/pro/anaconda/lib/python2.7/site-packages/matplotlib/font_manager.py:273: UserWarning: Matplotlib is building the font cache using fc-list. This may take a moment. warnings.warn('Matplotlib is原创 2016-10-20 10:18:30 · 7229 阅读 · 0 评论 -
anaconda--jupyter(Notebook) 基于云的科学计算环境
看cs229n的课程 装anaconda 里面包含jupyter(以前的notebook)、qtconsole、spyder、glueviz等等里面的notebook好像功能很强大的样子哦对了,装了anaconda就装了ipython了,下面的东西先收藏,可能有用,有关问题后面再补充一、轻松搞定你的IPython + Notebook 基于云的科原创 2016-10-18 20:34:26 · 6135 阅读 · 0 评论 -
Anaconda多环境多版本python配置指导
Anaconda多环境多版本python配置指导最近学python,读完了语法后在GitHub找了一些练习来做,由 于学的是python3.x语法,而GitHub上的好多数练习源码都是基于2.x的,而有些有些module在python3.x上没有,因此为装这些 包折腾了好久,浪费了好些时间,这两天才发现Anaconda这个神奇的软件,它是python科学计算的一个分发版,据说常用的原创 2016-10-18 20:32:56 · 9277 阅读 · 0 评论 -
【python】numpy数组(array)扩充(复制)方法repeat和tile的使用
用repeat和tile扩充数组元素,例如[python] view plain copy "font-size:14px;">>>> import numpy as np >>> np.arange(10) array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) >>> a = np.arange(10原创 2016-10-25 17:01:59 · 121034 阅读 · 0 评论 -
mac-python-opencv
首先确保已经安装了PythonMac 下可以直接使用 brew 来安装OpenCV,具体步骤如下:# add opencvbrew tap homebrew/science# install opencvbrew install opencv3安装必要的python库pip install numpypip install matplotlib测试是否安装原创 2016-10-24 22:30:32 · 1073 阅读 · 1 评论 -
python中的yield浅析(每次在用到的时候都感觉逻辑很混乱,多看一下这个)
您可能听说过,带有 yield 的函数在 Python 中被称之为 generator(生成器),何谓 generator ?我们先抛开 generator,以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契(Fibonacci)數列是一个非常简单的递归数列,除第一个和第二个数外,任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數列的前 N 个数是一原创 2016-08-05 17:25:49 · 1528 阅读 · 0 评论 -
python中argsort的使用-排序
在Python中使用help帮助>>> import numpy>>> help(numpy.argsort)Help on function argsort in module numpy.core.fromnumeric:argsort(a, axis=-1, kind='quicksort', order=None) Returns the indices原创 2016-10-22 21:04:40 · 2334 阅读 · 0 评论 -
cannot import name imread
You might need to install PIL or Pillow.sudo pip install pilloworsudo pip install PIL //安装这个问题百出,各种不行,就是安装了上面那个就好了如果你没有piphttp://blog.csdn.net/yimingsilence/articl原创 2016-09-05 11:26:55 · 4729 阅读 · 0 评论 -
mac上安装home-brew
Mac下如何安装配置Homebrew转载 2016-09-05 10:42:07 · 2391 阅读 · 0 评论 -
mac安装pip
mac安装pipPip 是安装python包的工具,提供了安装包,列出已经安装的包,升级包以及卸载包的功能。Pip 是对easy_install的取代,提供了和easy_install相同的查找包的功能,因此可以使用easy_install安装的包也同样可以使用pip进行安装。 安装PipPip的安装可以通过源代码包,easy_install或者脚本。原创 2016-09-05 10:55:36 · 2272 阅读 · 0 评论 -
scrapy抓取中文输出乱码解决方案
3 changed filesimax/pipelines.pyimax/settings.pyimax/spiders/imax_spider.pyimax/pipelines.py......@@ -3,6 +3,15 @@33# Don't forget to add your pipelin原创 2016-08-03 17:26:28 · 9138 阅读 · 3 评论 -
windows下使用Jupyter notebook远程访问服务器的两种方法
两种方法本质一样,第一种没有配置密码,第二种配置了密码,第二种也可以用端口映射在本地直接输入localhost地址即可,第一种也可以不用映射直接写服务器地址。 一1.登陆服务器,安装jupyter notebook, 用conda的话直接conda install jupyter2.服务器上开一个没有浏览器指定端口号的notebook. jupyter notebook --no-...原创 2018-06-13 15:35:11 · 12916 阅读 · 6 评论