爬取星座运势数据并进行词频分析

试着自己做了下爬虫,从星座屋网站爬取十二星座30天的运势数据。

import requests
from bs4 import BeautifulSoup
import pandas as pd

#获取12星座的网址
urll='http://www.xzw.com'
r=requests.get(url='http://www.xzw.com/fortune/aries/')
soup=BeautifulSoup(r.text,'lxml')
a=soup.find('div',class_="card_xingzuo").find_all('a')
urllst=[]
for each in a:
    urllst.append(urll+each.get('href'))
   
#获取每个星座30天的数据
datalst=[]
for ui in urllst:
    ri=requests.get(url=ui)
    soupi=BeautifulSoup(ri.text,'lxml')
    alst=soupi.find('div',class_="lday").find_all('a')
    urllst2=[]
    for each in alst:
        urllst2.append(urll+each.get('href'))
    for u in urllst2:
        r=requests.get(url=u)
        soup=BeautifulSoup(r.text,'lxml')
        dic={}
        lilst1=soup.find(
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值