新手入门python爬虫实战（二）

最新推荐文章于 2022-12-14 22:35:05 发布

Drone_xjw

最新推荐文章于 2022-12-14 22:35:05 发布

阅读量183

点赞数

分类专栏：数据挖掘文章标签： python 数据挖掘

本文链接：https://blog.csdn.net/xjw9602/article/details/106104861

版权

数据挖掘专栏收录该内容

13 篇文章 1 订阅

订阅专栏

如果您觉得有帮助，麻烦点赞鼓励谢谢

这里保存为Excel表格，用到了openpyxl库。首先建立一个工作对象，然后再操作写入
这里还用到了正则匹配，我们首先是把网页爬下来看一下结构，然后根据需要，找正则表达式

import requests
import bs4
import re
import openpyxl

def open_url(url):

    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
    res = requests.get(url, headers=headers)
    return res

def find_data(res):
    data = []
    soup = bs4.BeautifulSoup(res.text,"html.parser")
    content = soup.find(id="Cnt-Main-Article-QQ")
    target = content.find_all("p",style="TEXT-INDENT: 2em")
    target = iter(target)#把target变为迭代器，下面才能用next
    for each in target:
        if each.text.isnumeric():
            data.append([
                re.search(r'\[(.+)\]',next(target).text).group(1),
                re.search(r'\d.*',next(target).text).group(),
                re.search(r'\d.*',next(target).text).group(),
                re.search(r'\d.*',next(target).text).group()])
    return data

def to_excel(data):

    wb = openpyxl.Workbook()
    #让openpxyl 自动识别保存的是文本格式还是数值格式
    wb.guess_types = True
    # 获取工作表
    ws = wb.active
    ws.append(['城市','平均房价','平均工资','房价工资比'])
    for each in data :
        ws.append(each)
    wb.save("2017中国主要城市房价工资比排行榜.xlsx")


def main():
    url = "http://news.house.qq.com/a/20170702/003985.htm"
    res = open_url(url)
    data = find_data(res)
    to_excel(data)
    # with open("houseprice.txt","w",encoding="utf-8") as file:
    #     file.write(res.text)

if __name__ == '__main__':
    main()```