Android 使用JS注入获取网页视频链接

2021-02-24 09:37:21 135 收藏 1
分类专栏： Android html5/css3/JavaScript 文章标签： jquery javascript html5 android
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mhhyoucom/article/details/114009988
版权

Android 使用JS注入获取网页视频链接

思路：
1、通过js注入获取整个网页html。
2、通过jsoup分析获取video播放器的数据源。

一、开启webviewjs功能，注入js回调

mWebView.addJavascriptInterface(new LocalAndroidObj(), "local_android_obj");// js 注入回调

二、通过jsoup 分析网页，使用方法类似jQuery语法。

    private class LocalAndroidObj{

        @JavascriptInterface
        public void showSource(String msg){
//            msg="<head>"+msg+"</head>";
            Log.i("TAG", "showSource: html:"+msg);
            Document parse = Jsoup.parse(msg);
            Elements video_source = parse.select("video source");// 分析网页
            if (video_source!=null){
                for (Element element : video_source) {
                    String src = element.attr("src");//提取链接
                    Log.i("TAG", "showSource: src:"+src);
                    if (onParseListener!=null){
                        onParseListener.onFindUrl(src);
                    }
                }
            }
        }

    }

三、页面初始化后执行js注入回调。

        @Override
        public void onPageFinished(final WebView view, String url) {
            super.onPageFinished(view, url);
            new Handler(Looper.getMainLooper()).postDelayed(new Runnable() {
                @Override
                public void run() {
//                    view.loadUrl("javascript:window.local_android_obj.showSource('<head>'+\" + \"document.getElementsByTagName('html')[0].innerHTML+'</head>');");
                    view.loadUrl("javascript:window.local_android_obj.showSource(document.getElementsByTagName('html')[0].outerHTML);");
//                    view.loadUrl("javascript:window.alert('jason');");
                }
            },100);
        }

完整代码：

package com.jasonliyihang.ffmpegvideoplayer;


import android.annotation.SuppressLint;
import android.app.Activity;
import android.app.UiAutomation;
import android.graphics.Bitmap;
import android.net.http.SslError;
import android.os.Build;
import android.os.Handler;
import android.os.Looper;
import android.util.Log;
import android.view.ViewGroup;
import android.view.ViewParent;
import android.webkit.CookieManager;
import android.webkit.JavascriptInterface;
import android.webkit.SslErrorHandler;
import android.webkit.WebChromeClient;
import android.webkit.WebResourceRequest;
import android.webkit.WebResourceResponse;
import android.webkit.WebSettings;
import android.webkit.WebView;
import android.webkit.WebViewClient;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.util.Timer;
import java.util.TimerTask;

/**
 * Created by Administrator on 2018/3/22.
 */

public class ParseWebUrlHelper {
    private String mWebUrl;
    private Activity mActivity;
    private WebView mWebView;
    private OnParseWebUrlListener onParseListener;

    public static ParseWebUrlHelper getInstance() {
        return new ParseWebUrlHelper();
    }

    public ParseWebUrlHelper init(Activity act, ViewGroup viewGroup) {
        this.mActivity = act;
        this.mWebView = new WebView(mActivity);
        this.mWebView.setLayoutParams(new ViewGroup.LayoutParams(ViewGroup.LayoutParams.MATCH_PARENT, ViewGroup.LayoutParams.MATCH_PARENT));
        viewGroup.addView(this.mWebView);
        initWebSettings();
        return this;
    }

    public void free() {
        if (mWebView != null) {            //先从父容器中移除webview,然后再销毁webview
            try {
                ViewParent parent = mWebView.getParent();
                if (parent != null) {
                    ((ViewGroup) parent).removeView(mWebView);
                }
                mWebView.stopLoading();            // 退出时调用此方法，移除绑定的服务，否则某些特定系统会报错
                mWebView.getSettings().setJavaScriptEnabled(false);
                mWebView.clearHistory();
                mWebView.clearCache(true);
                mWebView.removeAllViews();
                mWebView.destroy();
                mWebView = null;
            } catch (Exception e) {
                e.printStackTrace();
            }
        }

    }

    @SuppressLint("SetJavaScriptEnabled")
    private void initWebSettings() {
        WebView mWebView = this.mWebView;
        mWebView.clearFocus();
        WebSettings mWebSettings = mWebView.getSettings();
        mWebSettings.setJavaScriptEnabled(true);
        mWebSettings.setDefaultTextEncodingName("utf-8");
        mWebSettings.setCacheMode(WebSettings.LOAD_DEFAULT);
        mWebSettings.setDisplayZoomControls(false);
        mWebSettings.setUseWideViewPort(true);
        mWebSettings.setAllowFileAccess(true);
        mWebSettings.setAllowContentAccess(true);
        mWebSettings.setSupportZoom(true);
        mWebSettings.setAllowContentAccess(true);
        mWebSettings.setLoadWithOverviewMode(true);
        mWebSettings.setBuiltInZoomControls(true);// 隐藏缩放按钮
        mWebSettings.setUseWideViewPort(true);// 可任意比例缩放
        mWebSettings.setLoadWithOverviewMode(true);// setUseWideViewPort方法设置webview推荐使用的窗口。setLoadWithOverviewMode方法是设置webview加载的页面的模式。
        mWebSettings.setSaveFormData(true);// 保存表单数据
        mWebSettings.setJavaScriptEnabled(true);
        mWebSettings.setTextZoom(100);
        mWebSettings.setDomStorageEnabled(true);
        mWebSettings.setSupportMultipleWindows(true);// 新加//我就是没有这一行，死活不出来。MD，硬是没有人写这一句！
        if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {
            mWebSettings.setMixedContentMode(WebSettings.MIXED_CONTENT_ALWAYS_ALLOW);
        }
        mWebSettings.setMediaPlaybackRequiresUserGesture(true);
        mWebSettings.setAllowFileAccessFromFileURLs(true);
        mWebSettings.setAllowUniversalAccessFromFileURLs(true);
        mWebSettings.setJavaScriptCanOpenWindowsAutomatically(true);
        mWebSettings.setLoadsImagesAutomatically(true);
        mWebSettings.setAppCacheEnabled(true);
        mWebSettings.setAppCachePath(mActivity.getCacheDir().getAbsolutePath());
        mWebSettings.setDatabaseEnabled(true);
        mWebSettings.setGeolocationDatabasePath(mActivity.getDir("database", 0).getPath());
        mWebSettings.setGeolocationEnabled(true);
        CookieManager instance = CookieManager.getInstance();
        instance.setAcceptCookie(true);
        if (Build.VERSION.SDK_INT >= 21) {
            instance.setAcceptThirdPartyCookies(mWebView, true);
        }
        mWebView.setWebViewClient(new MyWebViewClient());
        mWebView.setWebChromeClient(new GoogleWeb());
        mWebView.addJavascriptInterface(new LocalAndroidObj(), "local_android_obj");// js 注入回调
        enabledCookie(this.mWebView);//启用cookie
    }

    public ParseWebUrlHelper setLoadUrl(String url) {
        this.mWebUrl = url;
        return this;
    }

    public ParseWebUrlHelper startParse() {
        mWebView.loadUrl(this.mWebUrl);
        return this;
    }

    /*启用cookie*/
    private void enabledCookie(WebView web) {
        CookieManager instance = CookieManager.getInstance();
        instance.setAcceptCookie(true);
        if (Build.VERSION.SDK_INT >= 21) {
            instance.setAcceptThirdPartyCookies(web, true);
        }
    }

    public ParseWebUrlHelper setOnParseListener(OnParseWebUrlListener onParseListener) {
        this.onParseListener = onParseListener;
        return this;
    }


    private class GoogleWeb extends WebChromeClient {

    }

    private class LocalAndroidObj{

        @JavascriptInterface
        public void showSource(String msg){
//            msg="<head>"+msg+"</head>";
            Log.i("TAG", "showSource: html:"+msg);
            Document parse = Jsoup.parse(msg);
            Elements video_source = parse.select("video source");// 分析网页
            if (video_source!=null){
                for (Element element : video_source) {
                    String src = element.attr("src");//提取链接
                    Log.i("TAG", "showSource: src:"+src);
                    if (onParseListener!=null){
                        onParseListener.onFindUrl(src);
                    }
                }
            }
        }

    }

    private class MyWebViewClient extends WebViewClient {


        @Override
        public boolean shouldOverrideUrlLoading(WebView view, WebResourceRequest request) {
            if (request.getUrl().toString().startsWith("intent") || request.getUrl().toString().startsWith("youku")) {
                return true;
            } else {
                return super.shouldOverrideUrlLoading(view, request);
            }
        }

        @Override
        public boolean shouldOverrideUrlLoading(WebView view, String url) {
            if (url.startsWith("intent") || url.startsWith("youku")) {
                return true;
            } else {
                return super.shouldOverrideUrlLoading(view, url);
            }
        }

        /*解决ssl证书问题*/
        @Override
        public void onReceivedSslError(WebView view, SslErrorHandler handler, SslError error) {
            handler.proceed();
        }


        @Override
        public WebResourceResponse shouldInterceptRequest(WebView view, WebResourceRequest request) {
            if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {
                String url = request.getUrl().toString();
//                onParseListener.onFindUrl(url);
            }
            return super.shouldInterceptRequest(view, request);
        }

        @Override
        public void onPageStarted(WebView view, String url, Bitmap favicon) {
            super.onPageStarted(view, url, favicon);
            startCount();//加载超时处理
        }

        @Override
        public void onPageFinished(final WebView view, String url) {
            super.onPageFinished(view, url);
            new Handler(Looper.getMainLooper()).postDelayed(new Runnable() {
                @Override
                public void run() {
//                    view.loadUrl("javascript:window.local_android_obj.showSource('<head>'+\" + \"document.getElementsByTagName('html')[0].innerHTML+'</head>');");
                    view.loadUrl("javascript:window.local_android_obj.showSource(document.getElementsByTagName('html')[0].outerHTML);");
//                    view.loadUrl("javascript:window.alert('jason');");
                }
            },100);
        }

    }

    private void startCount() {
        final Timer timer = new Timer();
        TimerTask timerTask = new TimerTask() {
            @Override
            public void run() {
                onParseListener.onError("解析视频超时，请检查网速或网络是否出现问题...");
                timer.cancel();
                timer.purge();
            }
        };
        int timeOut = 20 * 1000;
        timer.schedule(timerTask, timeOut, 1);
    }

    public interface OnParseWebUrlListener {

        void onFindUrl(String url);

        void onError(String errorMsg);

    }
}

测试代码：

        //初始化
        parseWebUrlHelper = ParseWebUrlHelper.getInstance().init(this, frameLayout);
        parseWebUrlHelper.setLoadUrl("https://www.w3school.com.cn/html5/html_5_video_dom.asp");
        //解析网页中视频
        parseWebUrlHelper.setOnParseListener(new ParseWebUrlHelper.OnParseWebUrlListener() {
            @Override
            public void onFindUrl(String url) {
                Log.i("TAG", "onFindUrl: media url "+url);
            }

            @Override
            public void onError(String errorMsg) {

            }
        });
        parseWebUrlHelper.startParse();

如果对你有帮助请点赞 谢谢！！

参考：https://blog.csdn.net/a1021508536/article/details/52829243?utm_source=blogxgwz36

已标记关键词 清除标记
万能网页视频提取工具
10-04
在网页上播放完视频后,运行主程序,找到该视频文件,扩展名为.flv.保存好即可.
表情包
插入表情
还能输入1000个字符
相关推荐
Android webView js 交互 获取图片
09-08
这是一个Android webView 跟 js 交互的Demo 主要功能是：1.在webView中向网页注入js 获取到相应的图片 用于在下一个Activity中显示 2.显示中加了图片处理的自定义ImageView 可以手动缩放图片。3.打包了完整的Demo供大家参考！
Android 获取网页的视频链接
花重锦官城的博客
10-16 7769
10.16  青岛      阴       近来，想取某网站的视频做数据源，经别人帮忙爬取了视频链接后发现，视频的连接会在1--2小时后就失效了。经研究发现，每次打开包含视频链接的网页，网页内的视频连接地址都是不一样的，想来是加了些防爬取处理了。想要取视频链接，只要他的网页连接不变，直接解析网页好了，可能你会说，为什么不解析son，原因呢，想这种网站，json都是加密的，用解析器解析出来的也是
android中WebView注入Js的问题记录
QHH的博客
03-22 1288
在使用WebView加载https链接，会有证书验证问题，通过复写WebViewClient中的方法可以解决，代码如下：mWebView.setWebViewClient(new WebViewClient() { @Override public void onReceivedSslError(WebView view, SslErrorHandl...
调试JS获得动态视频地址
weixin_34290631的博客
11-22 1930
需求 爬取一个H5视频的url，但是这个url只在点击播放时动态创建。 可以看到点击后才出现src属性 一开始使用selenium自动点击后获取src，后来随着IP被封锁，使用代理要加载全部页面的话非常慢，所以需要手动调试看看点击之后到底发生了啥。 一、找到是哪个元素响应了点击事件 利用Chrome的开发者工具可以看到与点击事件有关的dom有这些： 可以用Chrome浏览器提供的功能，在...
Web逆向之通过Android中WebView获取网站视频真实链接
上班碰见了哥斯拉
10-25 7673
直接上工具类 直接调用即可，这个工具类会返回加载的网页中所有的链接，至于对链接怎么处理就是你们自己的事了， 亲测至今我所遇到的所有视频，它都可以捕获到其链接 import android.app.Activity; import android.graphics.Bitmap; import android.net.http.SslError; import android.os.Build...
WebView与JS的那些事: 注入JS提取url链接
小学生浪货
04-22 5189
上篇博文中，我们已经知道了如何通过js去控制webview中一些页面的变化和操作，今天，我们来玩一个更好玩的，或许有玩过掘金客户端的都知道，我们在点击页面的时候，掘金客户端并不是直接在webview页面进行加载，而是通过打开另一个Activity进行呈现，忽然发现这种方式真的挺不错的，玩过webview的都知道，我们在做一个页面的前进和后退时，我们会因为goBack返回页面的时候，页面会进行重新加载
Android WebView的两点技巧-资源拦截与js注入
_StriveG的专栏
10-02 5048
1.前言WebView是个很常用的控件，但是缺不是那么简单，那么，今天来给大家介绍下最近在做的时候，遇见的几个问题。注意，并不是所有的情况下，webview加载的都是自适应的网页。比如说，加载<p></p><img></img> 。2.资源拦截问题 问题描述 网页的某些资源在手机上不合适，比如说css资源过于庞大，客户端加载太慢，比如说，你的这个css放在客户端不合适，等等。 那么，我们怎么解
用UIWebView，JS获取视频链接
Saick的专栏
01-23 1251
使用一个uiwebview加载一个视频网页，然后在回调方法中 - (void)webViewDidFinishLoad:(UIWebView *)webView {     NSString *lJs = @"document.documentElement.innerHTML"; NSString *lHtml = [webView stringByEvaluatingJavaScriptFr
video.js动态设置视频的播放地址。
zlb_lover的博客
05-04 1万+
小白想通过js动态设置video的播放地址，饶了一天，终于走出坑，下面是解决的方法 js中 var videoUrl=var videoUrl="/file/"+row.path.substring(row.path.lastIndexOf("\\")+1); //此处填写你的视频地址             alert("videoUrl==="+videoUrl);          
video.js动态加载视屏地址的问题
chouti8479的博客
08-17 609
在使用video.js插件的时候，出现一个问题，页面引入video.js后，再用js去改变source视频源地址的时候，时而报错 The video could not be loaded,either because the server or network failed or b...
Jsoup——抖音视频抓取(一)
zhuzi51的专栏
04-01 2万+
楔子 好奇还是猫。搞了一夜 抓取抖音小视频 工具 Fiddler 和 安卓手机。关于Fiddler对安卓应用手机抓包图文教程 自行网上说的明白清楚 1：获取个人关注 上图的地址是https://api.amemv.com/aweme/v1/user/following/list/?user_id=93267622308&amp;max_tim...
Android端使用WebView注入一段js代码实现js调用android
u011404611的专栏
01-09 1万+
需求:为网页上个链接增加点击事件，但是这个链接无法增加js代码 url:http://public.rongcloud.cn/view/D4F444BE2D94D760329F3CF38B4AE35C 网页截图： 需要给“投融资讯“四个字设置点击事件 但是观察源码   class="wrap content">   class="
Android - webview拦截css,js,图片后加载本地外部存储的文件（shouldOverrideUrlLoading）
白鲸
12-21 6679
说明： Android WebView的缓存机制就不多说了，这里是单独自己拦截css，js和图片等自己进行缓存。 需求：Android客户端需要拦截网页的每个css，js，图片等，然后根据实际情况判断来使用本地存储卡或者assets中的js，css和图片资源。 实现： 方式一：拦截后使用留存储到外部存储，然后使用流读取外部存储的文件 原理：使用shouldOverride
Android与JS交互篇--JSBridge的使用
LIUW的博客
03-07 8857
在android日常开发中，大家或多或少都会碰到原生嵌套web页面，大家可以使用传统的方式实现Native与JS的交互，这里就不多介绍了，现在我们简单介绍下网上目前比较流行的已经封装好的框架JsBridge。可参考官网github地址：点击打开链接先看下接下来将要实现的效果图：一、JsBridge的基本概念Android4.4以前，谷歌的webview存在安全漏洞，网站可以通过js注入就可以随便拿...
Httpclient 和jsoup结和提取网页内容(某客学院视频链接）
anxi2091的博客
08-08 107
最近在极客学院获得体验会员3个月，然后就去上面看了看，感觉课程讲的还不错。整好最近学习Android，然后去上面找点视频看看。发现只有使用RMB买的会员才能在上面下载视频。抱着试一试的态度，去看他的网页源码，不巧发现有视频地址链接。然后想起来jsoup提取网页元素挺方便的，没事干就写了一个demo。 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地...
webview js注入提取html内容
u013136708的专栏
01-24 1748
需求：加载第三方的web链接时，他们的错误直接抛出在webView显示，所以我们需要抓取到webview中的html内容，然后解析出里面的错误日志，通过dialog弹出给用户。 方案：1、通过HttpPost接口访问url拿到里面的错误日志，然后弹出，没有错误日志的时候，webview加载url，该方案需要额外多访问一次url，并且需要拦击到该url，如果是通过js表单的形式提交的url，web
爬虫（三）解析js，抓取优酷免费视频的真实播放地址
08-22 1071
工具：google浏览器 + fiddler抓包工具 说明：这里不贴代码，【只讲思路！！！】 原始url =https://v.youku.com/v_show/id_XMzIwNjgyMDgwOA==.html? 【随便找的一部电影链接】称它为原始url 开始分析： 打开 fiddler ，然后打开google，输入url，按F12.得到下图 ： 分析上图内容： 首先通过...
Android三种Webview获取Javascript返回值/属性方式
weixin_34357887的博客
11-25 237
2019独角兽企业重金招聘Python工程师标准>>> ...
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页