python定向爬虫_python-定向爬虫(极客学院)

MongoDB 与 Scrapy

1.MongoDB 介绍与安装

1.brew update

2.brew install mongodb

使用数据库管理软件 robomongo

2.python 与 MongoDB

sudo pip2.7 install pymongo #安装模块

python连接MongoDB测试代码：

#!/usr/bin/python

#-*- coding:utf-8 -*-

import pymongo

connection = pymongo.MongoClient()

tdb = connection.Jikexueyuan

post_info = tdb.test

jike = {'name':u'极客','age':'5','skill':'Python'}

god = {'name':u'玉皇大帝','age':'36000','skill':'creatanything','other':u'王母娘娘'}

godslaver = {'name':u'月老','age':'unknown','other':u'孟婆'}

# post_info.insert(jike)

# post_info.insert(god)

# post_info.insert(godslaver)

post_info.remove({'name':u'极客'})

print u'操作数据库完成'

3.Scrapy 应用MongoDB

4.实战--小说爬虫

goals

1.Redis的介绍与安装

2.Scrapy 配置 Redis

3.实战

一.ajax介绍与网页展示

二.从javascript文件读取内容

三.构造目标地址

四.实战