- 博客(4)
- 收藏
- 关注
RSS订阅转载 PythonCrawl自学日志（4）
2016年9月22日10:34:02一、Selector1.如何构建（1）text构建： body = '<html><body><span>good</span></body></html>' Selector(text=body).xpath('//span/text()').extract()（2）res...
2016-09-23 20:05:00
166
转载 PythonCrawl自学日志（3）
2016年9月21日09:21:431.爬虫的抓取周期:（1）首先生成初始请求爬第一个url,并指定一个回调函数被称为与下载这些请求的响应。（2）第一个请求执行通过调用 start_requests()方法(默认情况下)生成 Request中指定的url start_urls和 parse方法作为请求的回调函数。（3）在回调函数中,解析响应(网页),并返回与提取的数据字典, Item对象...
2016-09-21 21:12:00
107
转载 PythonCrawl自学日志（2）
一、Scrapy环境的安装 1.配套组件的安装 由于开发环境是在VS2015Community中编码，默认下载的python3.5，系统是windows8.1，为此需要安装的组件有如下列表： 所有的组件在pip、easy_install或者可执行exe无法安装时，使用下面的安装方法， （1）pywim32（win32编程） 在http://www.lfd.uci.edu/~go...
2016-09-20 22:41:00
167
转载 PythonCrawl自学日志
2016-09-10 PythonCrawl自学日志 1.python及Selenium的安装 （1）开发环境使用的是VS2015 Community、python3.5、Selenium3.0BETA2、FireFox47 （2）cmd命令下使用pip3 install selenium，就可以安装Selenium3.0到电脑中，进入 C:\Users\用户\AppData\...
2016-09-10 19:20:00
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人