Python 爬虫 + MongoDB

原创 2016年08月30日 20:58:21
在以上两篇文章中已经介绍到了 Python 爬虫和 MongoDB , 那么下面我就将爬虫爬下来的数据存到 MongoDB 中去,首先来介绍一下我们将要爬取的网站, readfree 网站,这个网站非常的好,我们只需要每天签到就可以免费下载三本书,良心网站,下面我就将该网站上的每日推荐书籍爬下来。

这里写图片描述

利用上面几篇文章介绍的方法,我们很容易的就可以在网页的源代码中寻找到书籍的姓名和书籍作者的信息。

找到之后我们复制 XPath ,然后进行提取即可。源代码如下所示

# coding=utf-8

import re
import requests
from lxml import etree
import pymongo
import sys

reload(sys)
sys.setdefaultencoding('utf-8')


def getpages(url, total):
    nowpage = int(re.search('(\d+)', url, re.S).group(1))
    urls = []

    for i in range(nowpage, total + 1):
        link = re.sub('(\d+)', '%s' % i, url, re.S)
        urls.append(link)

    return urls


def spider(url):
    html = requests.get(url)

    selector = etree.HTML(html.text)

    book_name = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/a/text()')
    book_author = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/div/a/text()')

    saveinfo(book_name, book_author)


def saveinfo(book_name, book_author):
    connection = pymongo.MongoClient()
    BookDB = connection.BookDB
    BookTable = BookDB.books

    length = len(book_name)

    for i in range(0, length):
        books = {}
        books['name'] = str(book_name[i]).replace('\n','')
        books['author'] = str(book_author[i]).replace('\n','')
        BookTable.insert_one(books)

if __name__ == '__main__':
    url = 'http://readfree.me/shuffle/?page=1'
    urls = getpages(url,3)

    for each in urls:
        spider(each)

注意,在写入数据库的过程中不要一下子将字典中的数据写入数据库,我一开始就这么写的,但是我发现数据库中只有三条信息,其他信息都不见了。所以采用一条一条的写入。

还有源代码的开头部分,对默认编码的设置一定不可以省略,否则可能会报编码错误(真心感觉 Python 在编码这方面好容易出错,尴尬)。

有的人可能发现了,我将提取的信息转换成了字符串,然后使用 replace() 方法将 \n 去掉了,因为我发现在提取的书籍信息前后存在换行符,看着十分碍眼。

热情提醒一下,在程序运行的时候别忘记将你的 Mongo DB 运行起来,下来看看结果

这里写图片描述

好了,就这样,如果发现代码哪里存在错误或者说有可以改善的地方,希望留言给我,感谢。

版权声明:若要转载,请注明出处

mongodb随机获取一条记录实例

  • 2016年08月15日 18:37
  • 2KB
  • 下载

用nodejs实现爬虫后使用mongodb存贮

使用nodejs实现爬虫,想要收集互联网的缤纷数据,mongodb进行数据存取的前端架构,供己使用的方案。...
  • xiaoxigua666
  • xiaoxigua666
  • 2016年07月28日 12:13
  • 1754

Python+MongoDB 爬虫实战

工具准备及爬虫搭建 Scrapy(python写成的爬虫框架) 在前一篇 Scrapy爬虫入门 里有写到Scrapy的安装和基本使用,他的特点是每个不同的page都自己定制一个不同的Spi...
  • zbf8441372
  • zbf8441372
  • 2013年03月04日 15:35
  • 5632

进行大数据爬取数据,存入Mongodb

爬虫刚入门,对赶集网进行一次所有商品大数据的爬取 使用了多线程,存到数据库里,目前不知道要爬多久 from multiprocessing import Pool from cha...
  • wyt734933289
  • wyt734933289
  • 2016年11月24日 17:46
  • 1048

python爬虫中的mongo实践

本次使用requests作为http请求工具,获取小说封面的方式采用爬虫分类型、分页爬去小说封面地址,向图片的原地址发送http的get请求,获取response的content就是图片的二进制数据了...
  • WuZuoDingFeng
  • WuZuoDingFeng
  • 2017年01月18日 14:57
  • 1240

Python下用Scrapy和MongoDB构建爬虫系统

  • 2015年04月24日 23:45
  • 1.09MB
  • 下载

mongoDB——read&write操作

为了后续单独描述chunk块的balance&split的处理流程,此处不涉及。但别误解两者并非没有关联关系。 Read&Write mongoDB给我的感觉就是,一根肠子通到地,所有的处...
  • huyangshu87
  • huyangshu87
  • 2016年03月31日 21:34
  • 562

scrapy+mongodb示例代码

  • 2017年09月23日 23:58
  • 8KB
  • 下载

python爬虫--连接MongoDB 存数据

之前做爬虫 爬取贴吧松爱协会的内容是存在txt文件的 这个并不好 所以这一次存在Mongdb 这次是在windows 安在Mongodb里  官网下载  https://www.mong...
  • Qin_xian_shen
  • Qin_xian_shen
  • 2017年10月17日 18:52
  • 115

python爬虫:使用Mongodb数据库存储数据学习笔记

# -*- coding: utf-8 -*- """ Created on Sat Oct 22 21:01:23 2016 @author: hhxsym """ import request...
  • u010035907
  • u010035907
  • 2016年10月24日 07:26
  • 2043
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Python 爬虫 + MongoDB
举报原因:
原因补充:

(最多只允许输入30个字)