Python抓取网页数据

思路

1. 通过http加载要抓取的网页数据，并转化为DOM树
2. 根据tag及class标识确定DOM树中相应节点，获取节点数据并存储到变量里
3. 创建Excel表格，并激活
4. 往表格添加存在变量里的数据
5. 保存Excel表格

代码

import requests    #requests是HTTP库
import re
from openpyxl import workbook  # 写入Excel表所用
# from openpyxl import load_workbook  # 读取Excel表所用
from bs4 import BeautifulSoup as bs   #bs:通过解析文档为用户提供需要抓取的数据
import os
import io
import sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8') #改变标准输出的默认编码

#我们开始利用requests.get（）来获取网页并利用bs4解析网页：

global ws

def getData(src, k, ws):
    html = requests.get(src).text   # requests.get(src)返回的是状态码<Response [200]>，加上.text以字节形式（二进制返回数据。   和前端一样，分为get post等  http://www.cnblogs.com/ranxf/p/7808537.html
    soup = bs(html,'lxml')   # lxml解析器解析字节形式的数据，得到完整的类似页面的html代码结构的数据
    ul = soup.find('ul', class_ = 'bigimg')
    bookNames = ul.find_all('p', class_="name")

    authorNames = ul.find_all('p', class_="search_book_author")
    prices = ul.find_all('span', class_="search_pre_price")
    for i in range(len(bookNames)):
        ws.append([(bookNames[i].text)[0:15], authorNames[i].find_all('a')[0].text, prices[i].text])


def laodData():
    wb = workbook.Workbook()
    ws = wb.active
    ws.append(['书名','作者','价格'])
    for k in list(range(1, 5)):
       # print(k)
        src = 'http://search.dangdang.com/?key=python&act=input&page_index=' + str(k) #当当网查找的图书列表
        getData(src, k, ws)
    wb.save('qinshi.xlsx')

if __name__ == '__main__':
    laodData()