2018年06月_Kwoky

原创 name ‘reload‘ is not defined解决方法

一段python2.7的代码，里面有如下代码：reload(sys)sys.setdefaultencoding("utf-8")重新加载sys模块，并设置默认编码utf-8在Python 3.x中运行提示： name ‘reload’ is not definedpython3.x下应该改为如下方式：import importlibimportlib.reload(sys)最后一句sys.set...

2018-06-30 16:14:13 43307 3

原创 windows下python的opencv安装

　　Open Source Computer Vision Library.OpenCV于1999年由Intel建立，如今由Willow Garage提供支持。OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、MacOS操作系统上。它轻量级而且高效——由一系列 C 函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接...

2018-06-30 15:52:10 3147

原创 chromedriver安装

爬虫开发过程中使用selenium +webdriver打开chrome，说一下chrome dirver的安装1、我的chrome版本65.0.3325.181打开如下页面：https://sites.google.com/a/chromium.org/chromedriver/downloads对照下载说明，找到对应的ChromeDriver版本 2.382、打开如下网页：http://chr...

2018-06-30 12:18:33 3638

原创 Python os.walk()

os.walk(top, topdown=True, onerror=None, followlinks=False)可以得到一个三元tupple(dirpath, dirnames, filenames), 第一个为起始路径，第二个为起始路径下的文件夹，第三个是起始路径下的文件。dirpath 是一个string，代表目录的路径，dirnames 是一个list，包含了dirpath下所有子目录...

2018-06-27 09:51:55 2296

原创 python保存csv文件内容每隔一行就有空行的问题

爬虫把item交给pipeline保存为csv文件，发现保存的文件里，每行内容后面都插入一个空行，有些教程去修改scrapy包里在CsvItemExporter的__init__ 的io.TextIOWrapper添加了newline=''，但是我试了没有效果 self.file = open('data.csv', 'w',encoding='utf-8') ...

2018-06-18 18:54:37 5044 1

原创 *args 和 **kwargs

普通参数，在函数调用时必须传递的参数。默认参数，即参数含有默认值，在调用函数时可若没有传递参数则使用默认值，默认参数必须在普通参数的右侧*args：元组参数，参数格式化存储在一个元组中，长度没有限制，必须位于普通参数和默认参数之后。**kwargs：字典参数，参数格式化存储在一个字典中，必须位于参数列表的最后面。def fun(name, age=1, *args, **kwargs): p...

2018-06-14 17:24:23 2453

原创 python的format函数

作用：格式化输出字符串age = 25 name = 'Tom' print('{0} is {1} years old. '.format(name, age)) #输出参数 print('{} is {} years old. '.format(name, age))#Tom is 25 years old. #Tom is 25 years old.通过关键字参数print(...

2018-06-14 17:06:20 2667

原创 Chrome XPath-Helper

一、安装：进入chrome商店，搜索XPath-Helper，添加到chrome二、打开方式快捷键：Ctrl+Shift+X（Windows），Command+Shift+X（OS X）点击按钮三、使用（1）获取元素的XPath：按住Shift键，将鼠标移到需要定位的元素上，该元素会以黄色底纹高亮。左边的XPath编辑框内会显示该元素的XPath路径，右边的节点文本显示框会显示该元素的文本内容。...

2018-06-13 11:55:21 3707

原创 xpath抓取去掉\r\n\t

项目中获取一个文本"./p/span/a/text()"结果总是空用normalize-space()："normalize-space(./p/span/a/text())"搞定！

2018-06-13 07:44:42 10758

原创 Scrapy爬虫调试

1、创建run.py文件，和setting.py同级目录2、添加代码：from scrapy import cmdlinename = 'pythonPosition'cmd = 'scrapy crawl {0}'.format(name)cmdline.execute(cmd.split())其中name参数为spider的name。3、接着在spider文件中设置断点。4、run.py文件中...

2018-06-12 22:52:46 2686

原创 ImportError: No module named 'win32api'

环境：windows10，python3.5利用scrapy写爬虫，运行 scrapy crawl pythonPosition 命令时提示：exceptions.ImportError: No module named win32api根据提示可知需要安装pywin32解决过程：到https://sourceforge.net/projects/pywin32/files/pywin32/Bui...

2018-06-12 07:40:08 2542

Kwoky的博客