2017年02月_jingsongs

12月 11月 09月 08月 03月 02月 01月

转载 phantomjs笔记

一、基本简介（1）一个基于webkit内核的无头浏览器，即没有UI界面，即它就是一个浏览器，只是其内的点击、翻页等人为相关操作需要程序设计实现。（2）提供JavaScript API接口，即通过编写js程序可以直接与webkit内核交互，在此之上可以结合Java语言等，通过java调用js等相关操作，从而解决了以前c/c++才能比较好的基于webkit开发优质采集器的限制。（3）提供windo

2017-02-28 21:59:25 314

转载 Python模块Collection——OrderedDict

OrderedDict 有序字典OrderedDict

2017-02-27 16:26:58 1390

转载 Scrapy中的Rules理解

Scrapy CrawlSpider Rules

2017-02-25 15:06:20 27000 7

原创 Scrapy爬取图片： raise ValueError('Missing scheme in request url: %s' % self._url)

Scrapy爬取图片 raise ValueError('Missing scheme in request url: %s' % self._url)

2017-02-13 13:42:27 6259 1

原创笔记：scrapy爬取的数据存入MySQL，MongoDB

scrapy爬取的数据存入mysql，mongoDB

2017-02-11 11:06:20 4793 1

原创 Python scrapy插入mysql的一个错误TypeError

插入数据库本来是一个很简单的问题： sql="insert into p1(url) values (%s)" list=(item['url']) try: cur.execute(sql,list) except Exception,e: print('Ins

2017-02-11 10:08:35 860

原创使用pycharm，scarpy爬取数据

http://www.bubuko.com/infodetail-1533174.html

2017-02-07 11:39:49 4057

转载 Scrapy+Mongodb爬取数据

Scrapy爬虫数据存到mongodb中其实主要是前两步1、在settings.py中进行配置ITEM_PIPELINES = { 'dmoz.pipelines.DmozPipeline': 300,}MONGODB_HOST = '127.0.0.1'MONGODB_PORT = 27017MONGODB_DBNAME = 'spider

2017-02-07 11:33:35 1621

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人