Python实战4

Python实战4

爬取一个网页“2017年房价工资比”，主要用到4个包requests（优秀的程序媛都在用的包）、bs4（解析网页用的）、re（正则表达式）、openpyxl（把数据导入表格的包）下面上代码~

import requests
import bs4
import re
import openpyxl

def open_url(url):
    headers={"user-agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
    res=requests.get(url,headers=headers)
    return res

def find_data(res):
    data=[]
    soup=bs4.BeautifulSoup(res.text,"html.parser")
    content=soup.find(id="Cnt-Main-Article-QQ")
    
    target=iter(content.find_all("p",style="TEXT-INDENT: 2em"))
   
    for each in target:
        if each.text.isnumeric():
            data.append([
                re.search(r'\[(.+)\]',next(target).text).group(1),
                re.search(r'\d.*',next(target).text).group(),
                re.search(r'\d.*',next(target).text).group(),
                re.search(r'\d.*',next(target).text).group()
                ])
    return data

def to_excel(data):
    wb=openpyxl.Workbook()
    wb.guess_types=True
    ws=wb.active
    ws.append(['城市','平均房价','平均工资','房价工资比'])
    for each in data:
        ws.append(each)
    wb.save("2017全国城市房价 工资排行榜出炉！.xlsx")

                
        
        
    
    
def main():
    url="http://news.house.qq.com/a/20170702/003985.htm"
    res=open_url(url)
    data=find_data(res)
    to_excel(data)
if __name__=="__main__":
    main()

备注：打代码的时候千万、千万要注意中英文的切换啊！就这个小错误我找了2天！！!
最后的结果就是：