【Python实用技巧】爬取数据保存到Excel中

嗨嗨，大家好~今天来给你们分享一个小技巧

如何用python爬取数据保存到Excel中

话不多说，马上开始

需要源码、教程，或者是自己有关python不懂的问题，都可以来这里哦 https://jq.qq.com/?_wv=1027&k=s5bZE0K3 这里还有学习资料与免费课程领取

开发工具

• Python版本：3.6
• 相关模块：

import requests
from lxml import etree
import time, random, xlwt

主要思路

1.两页的内容
2.抓取每页title和URL
3.根据title创建文件，发送URL请求，提取数据

展示效果

完整代码

需要源码、教程，或者是自己有关python不懂的问题，都可以来这里哦 https://jq.qq.com/?_wv=1027&k=s5bZE0K3 这里还有学习资料与免费课程领取

# -*- conding:utf-8 -*-
import requests
from lxml import etree
import time, random, xlwt

# 专家委员会成员的xpath（‘//tbody//tr[@height='29']’）

class Doc_spider(object):

    def __init__(self):
        self.base_url = 'http://www.bjmda.com'
        self.url = 'http://www.bjmda.com/Aboutus/ShowClass.asp?ClassID=12&page={}'
        self.headers = {
   
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}

    def get_request(self, url):
        '''发送请求，返回html'''
        response = requests.get(url, headers=self.headers).content.decode('gbk')
        # time.sleep(random.random())
        html = etree.HTML(response)