红娘网爬数据

红娘网爬数据

代码

import requests
from bs4 import BeautifulSoup
import pandas as pd
header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'}
nianling=[]
dizhi=[]
hun=[]
shengao=[]
hua=[]
for i in range(10):
    url='http://hongniang.com/match?&page='+str(i+1)
    r=requests.get(url,headers=header)
    r.encoding=r.apparent_encoding
    html=r.text
    soup = BeautifulSoup(html,'html.parser')
    for info in soup.find_all('li','pin'):
        nianling.append(info.find('div','xx').find_all('span')[0].text)
        dizhi.append(info.find('div','xx').find_all('span')[1].text)
        hun.append(info.find('div','xx').find_all('span')[2].text)
        shengao.append(info.find('div','xx').find_all('span')[3].text)
        hua.append(info.find('div','db').text.replace('\t','').replace('\n','').replace('\r','').replace(' ','')[5:])
data=pd.DataFrame({'年龄':nianling,'地区':dizhi,'婚姻情况':hun,'身高':shengao,'内心独白':hua})
writer=pd.ExcelWriter('红娘.xlsx')
data.to_excel(writer,'爬虫')
writer.save()

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。