小萌新爬虫爬取电视剧网站,并写入Excel表格里面

list1=[]
list2=[]
list3=[]
list4=[]
import requests
from bs4 import BeautifulSoup
req=requests.get('https://www.360kan.com/dianshi/list.php?cat=113')
req.encoding=req.apparent_encoding
soup=BeautifulSoup(req.text,'lxml')
page=1
print('当前是:%s***********'%page)
for t in soup.find_all('a','js-tongjic'):
    print(t.text,'https://www.360kan.com'+t['href'])
for t in soup.find_all('span','s1'):
    list1.append(t.text)
for t in soup.find_all('p','star'):
    list2.append(t.text)
for t in soup.find_all('span','hint'):
    list3.append(t.text)
for t in soup.find_all('a','js-tongjic'):
    list4.append('https://www.360kan.com'+t['href'])
for test in soup.find('div','ew-page').find_all('a')[1:8]:
    print(test['href'])
    page=page+1
    print('当前是:%s***********'%page)
    req2=requests.get(test['href'])
    req2.encoding=req2.apparent_encoding
    soup2=BeautifulSoup(req2.text,'lxml')
    for t in soup2.find_all('span','s1'):
        list1.append(t.text)
    for t in soup2.find_all('p','star'):
        list2.append(t.text)
    for t in soup2.find_all('span','hint'):
        list3.append(t.text)
    for t in soup2.find_all('a','js-tongjic'):
        list4.append('https://www.360kan.com'+t['href'])
    for t in soup2.find_all('a','js-tongjic'):
        print(t.text,'https://www.360kan.com'+t['href'])
import xlwt
n=len(list1)
workbook = xlwt.Workbook(encoding='utf-8')
worksheet = workbook.add_sheet('teleplay')
worksheet.write(0, 0, label='电视剧名')
worksheet.write(0,2, label='主演')
worksheet.write(0,10, label='总集数')
worksheet.write(0,14, label='链接')
for i in range (1,n+1):
    worksheet.write(i,0,label=list1[i-1])
    worksheet.write(i,2,label=list2[i-1])
    worksheet.write(i,10,label=list3[i-1])
    worksheet.write(i,12,label=list4[i-1])
workbook.save('Excel_telepaly.xls')
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值