python如何提取js脚本中内容,如何获取在Python中的JavaScript内容

I have a website that has data I want to fetch stored in a javascript. How do I fetch it?

I want to fetch from "var playersData" line. I want to fetch this thing :- "playerId":"showsPlayer" (without quotes obviously). How do I do so?

I've tried beautiful soup. My current script looks like this

q = requests.get('websitelink')

soup = BeautifulSoup(q.text)

searching = soup.findAll('script',{'type':'text/javascript'})

for playerIdin searching:

x = playerId.find_all('var playersData', limit=1)

print x

I'm getting [] as my output. I can't seem to figure out my problem here.

Please help out guys and gals :)

解决方案

BeautifulSoup would only help locating the desired script tag. Then, you would have multiple options:

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python可以使用第三方库Scrapy或者BeautifulSoup来提取js脚本内容。 1. 使用Scrapy: Scrapy是一个强大的网络爬虫框架,它支持解析JavaScript渲染的页面。可以通过以下步骤使用Scrapy来提取js脚本内容: - 安装Scrapy库:在命令行执行`pip install scrapy`命令安装Scrapy。 - 创建Scrapy项目:在命令行执行`scrapy startproject project_name`命令创建一个Scrapy项目。 - 编写Spider:在项目的`spiders`目录下创建一个Spider,用于指定要爬取的网站和提取规则。 - 在Spider使用SplashRequest:引入`scrapy_splash`模块并使用`SplashRequest`替换`scrapy.Request`,从而将页面渲染为可解析的HTML。 - 使用XPath或CSS选择器提取内容:在Spider使用XPath或CSS选择器来提取目标内容。 - 运行Scrapy:执行`scrapy crawl spider_name`命令运行Scrapy爬虫。 2. 使用BeautifulSoup: BeautifulSoup是一个用于解析HTML和XML的Python库,可以用于提取js脚本内容。以下是使用BeautifulSoup提取js脚本内容的步骤: - 安装BeautifulSoup库:在命令行执行`pip install beautifulsoup4`命令安装BeautifulSoup。 - 请求网页并获取HTML:使用Python的`requests`库发送HTTP请求,并获取网页的HTML内容。 - 解析HTML:使用BeautifulSoup将HTML内容解析成BeautifulSoup对象。 - 提取JS脚本内容:在BeautifulSoup对象上使用`find_all`或`select`等方法,使用合适的CSS选择器选择JS脚本元素,并提取内容。 以上是两种常用的Python方法来提取js脚本内容。具体使用哪种方法取决于具体情况和个人偏好。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值