requests库和beautifulsoup爬取豆瓣书本数据并存入excel

以下是所有的代码,如果想要改变爬取的书本类型可以在测试函数当中修改

# -*-coding:utf-8 -*-

# 豆瓣网爬书参考代码 日期:2018-08-19 参考代码
import sys
import time
from urllib.parse import quote
import requests
import numpy as np
from bs4 import BeautifulSoup
from openpyxl import Workbook

#User Agents
hds = [{
  'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; enUS; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},
{
  'User-Agent': 'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/ 535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},
{
  'User-Agent': 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'}]


#*********爬书虫函数**********
def book_spider(book_tag):
  page_num = 0 # 页数
  book_list = []  # 爬到的书籍列表
  try_times = 0 # 尝试次数

  while (page_num < 1):  #只爬一页
     # url='http://www.douban.com/tag/%E5%B0%8F%E8%AF%B4/book?start=0' # 测试用
     #每类爬15本书
     url = 'http://www.douban.com/tag/' + quote(book_tag) + '/book?start=' + str(page_num*15)
     time.sleep(np.random.rand() * 1)
    #开始爬取
     try:
        req = requests.request('get',url, headers=hds[page_num % len(hds)])
        source_code =req.text
        plain_text = str(source_code)
     excep
  • 4
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值