Android利用jsoup爬虫爬网页数据（一）

最新推荐文章于 2024-07-30 17:21:38 发布
最新推荐文章于 2024-07-30 17:21:38 发布
阅读量7.6k 收藏 15
点赞数
分类专栏： Android 爬虫 文章标签： android 数据 爬虫 jsoup html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23195583/article/details/53739882
版权

效果图太大了，我放到github上了，想看效果的点击以下链接：
效果图一
效果图二
首先这个jsoup只能对html爬取数据，js里面的东西爬不到，暂时先只爬html的数据，这里先说明一下，博主仅仅出于学习的目的，不用做商业，也不是恶意窃取数据，现在的版权问题懂得好怕怕。
他们家的数据
第一件事就是引入依赖

 compile 'org.jsoup:jsoup:1.10.1'

然后比较恶心的上一下html的源代码，这里我格式化了，我把代码贴上，恶心一下（看了下效果，代码片太长了，截取一下得了），我这里用的sublime编辑的

<div class="wrap">
      <div class="w clear">
        <div class="space_left">
          <div class="ui_newlist_1 get_num" id="J_list">
            <ul>
              <li data-id="285511">
                <div class="pic">
                  <a target="_blank" href="http://home.meishichina.com/recipe-285511.html" title="孔雀开屏鱼">
                    <img width="180" height="180" src="http://static.meishichina.com/v6/img/blank.gif" data-src="http://i3.meishichina.com/attachment/recipe/2016/12/17/20161217148196906319013.jpg@!c320" class="imgLoad"></a>
                </div>
                <div class="detail">
                  <h2>
                    <a target="_blank" href="http://home.meishichina.com/recipe-285511.html">孔雀开屏鱼</a></h2>
                  <p class="subline">
                    <a target="_blank" href="http://home.meishichina.com/space-9541848.html">零下一度0511</a></p>
                  <p class="subcontent">原料：武昌鱼、姜、豆豉、葱、青红椒、盐、胡椒粉、蒸鱼豉油、花生油、料酒。</p>
                  <div class="substatus clear">
                    <div class="left"></div>
                  </div>
                </div>
              </li>
              <li data-id="304148">
                <div class="pic">
                  <a target="_blank" href="http://home.meishichina.com/recipe-304148.html" title="花开富贵">
                    <img width="180" height="180" src="http://static.meishichina.com/v6/img/blank.gif" data-src="http://i3.meishichina.com/attachment/recipe/2016/12/12/20161212148152950212413.jpg@!c320" class="imgLoad"></a>
                </div>
                <div class="detail">
                  <h2>
                    <a target="_blank" href="http://home.meishichina.com/recipe-304148.html">花开富贵</a></h2>
                  <p class="subline">
                    <a target="_blank" href="http://home.meishichina.com/space-9014474.html">小厨妞1688</a></p>
                  <p class="subcontent">原料：大白菜菜叶、辣椒、猪肉、盐。</p>
                  <div class="substatus clear">
                    <div class="left"></div>
                  </div>
                </div>
              </li>
              <li data-id="304224">
                <div class="pic">
                  <a target="_blank" href="http://home.meishichina.com/recipe-304224.html" title="千层葱花饼">
                    <img width="180" height="180" src="http://static.meishichina.com/v6/img/blank.gif" data-src="http://i3.meishichina.com/attachment/recipe/2016/12/12/20161212148155127748313.jpg@!c320" class="imgLoad"></a>
                </div>
                <div class="detail">
                  <h2>
                    <a target="_blank" href="http://home.meishichina.com/recipe-304224.html">千层葱花饼</a></h2>
                  <p class="subline">
                    <a target="_blank" href="http://home.meishichina.com/space-2261565.html">香儿厨房</a></p>
                  <p class="subcontent">原料：馄饨皮、葱花、盐、蛋液、油。</p>
                  <div class="substatus clear">
                    <div class="left"></div>
                  </div>
                </div>
              </li>
              <li data-id="304301">
                <div class="pic">
                  <a target="_blank" href="http://home.meishichina.com/recipe-304301.html" title="猪蹄冻----高逼格新年宴客菜">
                    <img width="180" height="180" src="http://static.meishichina.com/v6/img/blank.gif" data-src="http://i3.meishichina.com/attachment/recipe/2016/12/13/20161213148161404254213.jpg@!c320" class="imgLoad"></a>
                </div>
                <div class="detail">
                  <h2>
                    <a target="_blank" href="http://home.meishichina.com/recipe-304301.html">猪蹄冻----高逼格新年宴客菜</a></h2>
                  <p class="subline">
                    <a target="_blank" href="http://home.meishichina.com/space-7482619.html">允儿小妞的厨房</a></p>
                  <p class="subcontent">原料：猪蹄儿、料酒、生姜、大蒜、桂皮、香叶、八角、丁香、大葱、小米辣。</p>
                  <div class="substatus clear">
                    <div class="left"></div>
                  </div>
                </div>
              </li>
              <li data-id="302700">
                <div class="pic">
                  <a target="_blank" href="http://home.meishichina.com/recipe-302700.html" title="辣酱粉丝">
                    <img width="180" height="180" src="http://static.meishichina.com/v6/img/blank.gif" data-src="http://i3.meishichina.com/attachment/recipe/2016/12/13/20161213148159716214013.jpg@!c320" class="imgLoad"></a>
                </div>
                <div class="detail">
                  <h2>
                    <a target="_blank" href="http://home.meishichina.com/recipe-302700.html">辣酱粉丝</a></h2>
                  <p class="subline">
                    <a target="_blank" href="http://home.meishichina.com/space-9764821.html">天国的女儿</a></p>
                  <p class="subcontent">原料：五花肉、海米、粉丝、郫县豆瓣酱、蚝油、蒜蓉辣酱、蒜、葱、白糖、香菜末</p>
                  <div class="substatus clear">
                    <div class="left"></div>
                  </div>
                </div>
              </li>
              <li data-id="304481">
                <div class="pic">
                  <a target="_blank" href="http://home.meishichina.com/recipe-304481.html" title="【桃李厨艺】正宗祖传灌汤小笼包的做法，鲜美多汁！吃货赶紧来试试!">
                    <img width="180" height="180" src="http://static.meishichina.com/v6/img/blank.gif" data-src="http://i3.meishichina.com/attachment/recipe/2016/12/14/20161214148170810381213.jpg@!c320" class="imgLoad"></a>
                </div>
                <div class="detail">
                  <h2>
                    <a target="_blank" href="http://home.meishichina.com/recipe-304481.html">【桃李厨艺】正宗祖传灌汤小笼包的做法，鲜美多汁！吃货赶紧来试试!</a></h2>
                  <p class="subline">
                    <a target="_blank" href="http://home.meishichina.com/space-8893689.html">桃李烹饪</a></p>
                  <p class="subcontent">原料：猪肉、盐、细砂糖、色拉油、料酒、鸡精、老抽、葱姜水。</p>
                  <div class="substatus clear">
                    <div class="left"></div>
                  </div>
                </div>
              </li>
              <li data-id="304135">
                <div class="pic">
                  <a target="_blank" href="http://home.meishichina.com/recipe-304135.html" title="千层肉饼">
                    <img width="180" height="180" src="http://static.meishichina.com/v6/img/blank.gif" data-src="http://i3.meishichina.com/attachment/recipe/2016/12/12/20161212148152421589213.jpg@!c320" class="imgLoad"></a>
                </div>
                <div class="detail">
                  <h2>
                    <a target="_blank" href="http://home.meishichina.com/recipe-304135.html">千层肉饼</a></h2>
                  <p class="subline">
                    <a target="_blank" href="http://home.meishichina.com/space-9118742.html">满宝妈妈</a></p>
                  <p class="subcontent">原料：猪肉馅、清水、食用油、酱油、花椒油、盐、面粉、葱花、料酒、蚝油、香油、鸡精。</p>
                  <div class="substatus clear">
                    <div class="left"></div>
                  </div>
                </div>
              </li>
              <li data-id="304363">
                <div class="pic">
                  <a target="_blank" href="http://home.meishichina.com/recipe-304363.html" title="秘制红烧肉">
                    <img width="180" height="180" src="http://static.meishichina.com/v6/img/blank.gif" data-src="http://i3.meishichina.com/attachment/recipe/2016/12/13/20161213148163593838413.jpg@!c320" class="imgLoad"></a>
                </div>
                <div class="detail">
                  <h2>
                    <a target="_blank" href="http://home.meishichina.com/recipe-304363.html">秘制红烧肉</a></h2>
                  <p class="subline">
                    <a target="_blank" href="http://home.meishichina.com/space-7194731.html">多幸福多快乐</a></p>
                  <p class="subcontent">原料：猪五花肉、大蒜、葱段、姜片、八角、、盐、食用油、清水、冰糖、黄酒、生抽。</p>
                  <div class="substatus clear">
                    <div class="left"></div>
                  </div>
                </div>
              </li>
              <li data-id="304458">
                <div class="pic">
                  <a target="_blank" href="http://home.meishichina.com/recipe-304458.html" title="麻婆豆腐">
                    <img width="180" height="180" src="http://static.meishichina.com/v6/img/blank.gif" data-src="http://i3.meishichina.com/attachment/recipe/2016/12/14/20161214148170177631113.jpg@!c320" class="imgLoad"></a>
                </div>
                <div class="detail">
                  <h2>
                    <a target="_blank" href="http://home.meishichina.com/recipe-304458.html">麻婆豆腐</a></h2>
                  <p class="subline">
                    <a target="_blank" href="http://home.meishichina.com/space-6591561.html">梦～桃缘</a></p>
                  <p class="subcontent">原料：肉末、豆腐、郫县豆瓣酱、花椒粉、淀粉、葱、水、辣椒粉、酱油</p>
                  <div class="substatus clear">
                    <div class="left"></div>
                  </div>
                </div>
              </li>
              <li data-id="304129">
                <div class="pic">
                  <a target="_blank" href="http://home.meishichina.com/recipe-304129.html" title="香辣土豆片">
                    <img width="180" height="180" src="http://static.meishichina.com/v6/img/blank.gif" data-src="http://i3.meishichina.com/attachment/recipe/2016/12/12/20161212148153522532813.jpg@!c320" class="imgLoad"></a>
                </div>
                <div class="detail">
                  <h2>
                    <a target="_blank" href="http://home.meishichina.com/recipe-304129.html">香辣土豆片</a></h2>
                  <p class="subline">
                    <a target="_blank" href="http://home.meishichina.com/space-1478694.html">斯佳丽WH</a></p>
                  <p class="subcontent">原料：土豆、青蒜、辣椒粉、干辣椒、蒜、油盐。</p>
                  <div class="substatus clear">
                    <div class="left"></div>
                  </div>
                </div>
              </li>
            </ul>
          </div>

抓的是这个列表的数据，再来看一下jsoup比较实用的代码


            Document document = Jsoup.connect("http://home.meishichina.com/show-top-type-recipe-page-" + page + ".html").get();

            Log.d("jsoup:", "http://home.meishichina.com/show-top-type-recipe-page-" + page + ".html");

            Elements elements = document.select("div.top-bar");
//            Log.d("jsoup:", elements.select("a").attr("title"));

            Elements titleAndPic = document.select("div.pic");
//            Log.d("jsoup", "数量：" + titleAndPic.size());
//            Log.d("jsoup", "title:" + titleAndPic.get(1).select("a").attr("title") + "pic:" + titleAndPic.get(1).select("a").select("img").attr("data-src"));
            Elements url = document.select("div.detail").select("h2").select("a");
//            Log.d("jsoup", "url:" + url.get(1).attr("href"));
            Elements burden = document.select("p.subcontent");
//            Log.d("jsoup", "burden:" + burden.get(1).text());

select是选取一个节点，attr是取数据，简单可以这么理解，爬虫其实并不是一味地知道网站就直接去爬，还要了解里面的数据结构以后才可以，当然这是相对于jsoup来说的，其他的博主没用过也不细说
看一下android的代码：
fragement

package com.fanyafeng.recreation.fragment;

import android.content.Context;
import android.net.Uri;
import android.os.AsyncTask;
import android.os.Bundle;
import android.os.Handler;
import android.os.Message;
import android.support.annotation.Nullable;
import android.support.v4.app.Fragment;
import android.support.v7.widget.GridLayoutManager;
import android.support.v7.widget.RecyclerView;
import android.support.v7.widget.StaggeredGridLayoutManager;
import android.support.v7.widget.Toolbar;
import android.util.Log;
import android.view.LayoutInflater;
import android.view.View;
import android.view.ViewGroup;
import android.widget.Toast;

import com.fanyafeng.recreation.R;
import com.fanyafeng.recreation.adapter.MenuAdapter;
import com.fanyafeng.recreation.bean.MainItemBean;
import com.fanyafeng.recreation.bean.MenuBean;
import com.fanyafeng.recreation.network.NetUtil;
import com.fanyafeng.recreation.network.Urls;
import com.fanyafeng.recreation.refreshview.XRefreshView;
import com.fanyafeng.recreation.refreshview.XRefreshViewFooter;
import com.fanyafeng.recreation.util.StringUtil;

import org.json.JSONArray;
import org.json.JSONException;
import org.json.JSONObject;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

import java.util.ArrayList;
import java.util.List;
import java.util.Random;

public class TwoFragment extends BaseFragment {
    private static final String ARG_PARAM1 = "param1";
    private static final String ARG_PARAM2 = "param2";

    private static final int XREFRESH_GET_DATA = 0;
    private static final int XREFRESH_FRESH = 1;
    private static final int XREFRESH_LOAD_MORE = 2;

    private String mParam1;
    private String mParam2;

    private Toolbar toolbar_two;

    private XRefreshView refreshTwo;
    private RecyclerView rvTwo;

    private List<MenuBean> menuBeanList = new ArrayList<>();

    private MenuAdapter menuAdapter;

    private int page = 1;


    public TwoFragment() {
        // Required empty public constructor
    }

    public static TwoFragment newInstance(String param1, String param2) {
        TwoFragment fragment = new TwoFragment();
        Bundle args = new Bundle();
        args.putString(ARG_PARAM1, param1);
        args.putString(ARG_PARAM2, param2);
        fragment.setArguments(args);
        return fragment;
    }

    @Override
    public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        if (getArguments() != null) {
            mParam1 = getArguments().getString(ARG_PARAM1);
            mParam2 = getArguments().getString(ARG_PARAM2);
        }
    }

    @Override
    public View onCreateView(LayoutInflater inflater, ViewGroup container, Bundle savedInstanceState) {
        // Inflate the layout for this fragment
        return inflater.inflate(R.layout.fragment_two, container, false);
    }

    @Override
    public void onActivityCreated(@Nullable Bundle savedInstanceState) {
        super.onActivityCreated(savedInstanceState);
        initView();
        Thread thread = new Thread(new LoadThread(XREFRESH_GET_DATA));
        thread.start();
    }

    private void initView() {
        toolbar_two = (Toolbar) getActivity().findViewById(R.id.toolbar_two);
        toolbar_two.setLogo(R.drawable.simle_logo_02);
        toolbar_two.setTitle("美食");

        refreshTwo = (XRefreshView) getActivity().findViewById(R.id.refreshTwo);
        refreshTwo.setAutoLoadMore(true);
        refreshTwo.setPullLoadEnable(true);

        rvTwo = (RecyclerView) getActivity().findViewById(R.id.rvTwo);
        rvTwo.setLayoutManager(new StaggeredGridLayoutManager(2, StaggeredGridLayoutManager.VERTICAL));
        menuAdapter = new MenuAdapter(getActivity(), menuBeanList);
        menuAdapter.setCustomLoadMoreView(new XRefreshViewFooter(getActivity()));
        rvTwo.setAdapter(menuAdapter);

        refreshTwo.setXRefreshViewListener(new XRefreshView.SimpleXRefreshListener() {
            @Override
            public void onRefresh() {
                super.onRefresh();
//                getData(1, XREFRESH_FRESH);
                new Handler().postDelayed(new Runnable() {
                    @Override
                    public void run() {
                        Thread thread = new Thread(new LoadThread(XREFRESH_FRESH));
                        thread.start();
                    }
                }, 1000);
            }

            @Override
            public void onLoadMore(boolean isSilence) {
                super.onLoadMore(isSilence);
                new Handler().postDelayed(new Runnable() {
                    @Override
                    public void run() {
                        Thread thread = new Thread(new LoadThread(XREFRESH_LOAD_MORE));
                        thread.start();
                    }
                }, 1000);
            }
        });
    }

    private void getData(int page, int refreshState) {

        try {
//            Document document = Jsoup.connect("http://home.meishichina.com/show-top-type-recipe.html").get();
//            http://home.meishichina.com/show-top-type-recipe-page-2.html


            Document document = Jsoup.connect("http://home.meishichina.com/show-top-type-recipe-page-" + page + ".html").get();

            Log.d("jsoup:", "http://home.meishichina.com/show-top-type-recipe-page-" + page + ".html");

            Elements elements = document.select("div.top-bar");
//            Log.d("jsoup:", elements.select("a").attr("title"));

            Elements titleAndPic = document.select("div.pic");
//            Log.d("jsoup", "数量：" + titleAndPic.size());
//            Log.d("jsoup", "title:" + titleAndPic.get(1).select("a").attr("title") + "pic:" + titleAndPic.get(1).select("a").select("img").attr("data-src"));
            Elements url = document.select("div.detail").select("h2").select("a");
//            Log.d("jsoup", "url:" + url.get(1).attr("href"));
            Elements burden = document.select("p.subcontent");
//            Log.d("jsoup", "burden:" + burden.get(1).text());


            for (int i = 0; i < titleAndPic.size(); i++) {
//                Log.d("jsoup", "title:" + titleAndPic.get(i).select("a").attr("title") + "pic:" + titleAndPic.get(i).select("a").select("img").attr("data-src"));
//                Log.d("jsoup", "url:" + url.get(i).attr("href"));
//                Log.d("jsoup", "burden:" + burden.get(i).text());
                int imgLength = titleAndPic.get(i).select("a").select("img").attr("data-src").length();
                String img = titleAndPic.get(i).select("a").select("img").attr("data-src");
//                Log.d("jsoup", img.substring(0, imgLength - 3) + "640");
                String title = titleAndPic.get(i).select("a").attr("title");
                String pic = img.substring(0, imgLength - 3) + "640";
                String itemUrl = url.get(i).attr("href");
                String itemBurden = burden.get(i).text();
                MenuBean menuBean = new MenuBean();
                menuBean.setTitle(title);
                menuBean.setPic(pic);
                menuBean.setUrl(itemUrl);
                menuBean.setBurden(itemBurden);
                menuBeanList.add(menuBean);
                Message message = Message.obtain();
                message.what = refreshState;
                handler.sendMessage(message);
            }

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    class LoadThread implements Runnable {

        int refreshState;

        public LoadThread(int refreshState) {
            this.refreshState = refreshState;
        }

        @Override
        public void run() {
            if (refreshState == XREFRESH_GET_DATA) {
                menuBeanList.clear();
                page = 1;
            } else if (refreshState == XREFRESH_FRESH) {
                menuBeanList.clear();
                page = 1;
            } else if (refreshState == XREFRESH_LOAD_MORE) {
                page++;
            }
            getData(page, refreshState);
        }
    }

    Handler handler = new Handler() {
        @Override
        public void handleMessage(Message msg) {
            super.handleMessage(msg);
            switch (msg.what) {
                case XREFRESH_FRESH:
                    refreshTwo.stopRefresh();
                    break;
                case XREFRESH_GET_DATA:
                    break;
                case XREFRESH_LOAD_MORE:
                    refreshTwo.stopLoadMore();
                    break;
            }
            menuAdapter.notifyDataSetChanged();
        }
    };
}

xml：

<FrameLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:background="@android:color/white"
    tools:context="com.fanyafeng.recreation.fragment.TwoFragment">

    <android.support.design.widget.CoordinatorLayout xmlns:android="http://schemas.android.com/apk/res/android"
        xmlns:app="http://schemas.android.com/apk/res-auto"
        xmlns:tools="http://schemas.android.com/tools"
        android:layout_width="match_parent"
        android:layout_height="match_parent"
        android:fitsSystemWindows="false"
        tools:context="com.fanyafeng.recreation.activity.MainActivity">

        <android.support.design.widget.AppBarLayout
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            android:theme="@style/AppTheme.AppBarOverlay">

            <android.support.v7.widget.Toolbar
                android:id="@+id/toolbar_two"
                android:layout_width="match_parent"
                android:layout_height="?attr/actionBarSize"
                android:background="?attr/colorPrimary"
                app:layout_scrollFlags="scroll|exitUntilCollapsed"
                app:popupTheme="@style/AppTheme.PopupOverlay">

                <!--字号可以自定义，这里默认16dp-->
                <TextView
                    android:id="@+id/toolbar_center_title"
                    android:layout_width="wrap_content"
                    android:layout_height="wrap_content"
                    android:layout_gravity="center"
                    android:textColor="@android:color/white"
                    android:textSize="@dimen/activity_horizontal_margin" />
            </android.support.v7.widget.Toolbar>

        </android.support.design.widget.AppBarLayout>

        <RelativeLayout
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            app:layout_behavior="@string/appbar_scrolling_view_behavior">

            <com.fanyafeng.recreation.refreshview.XRefreshView
                android:id="@+id/refreshTwo"
                android:layout_width="match_parent"
                android:layout_height="match_parent">

                <android.support.v7.widget.RecyclerView
                    android:id="@+id/rvTwo"
                    android:layout_width="match_parent"
                    android:layout_height="match_parent" />
            </com.fanyafeng.recreation.refreshview.XRefreshView>
        </RelativeLayout>

    </android.support.design.widget.CoordinatorLayout>

</FrameLayout>

上一张非gif得图片吧：
这里写图片描述

南枝向暖，北枝寒
关注
专栏目录
Android基于Jsoup的网络爬虫，移动客户端开发工程师专业
m0_66264169的博客
02-02 512
Jsoup主要有以下功能： 从一个字符串、文件或者一个 URL 中解析HTML 提供一系列方法对HTML进行数据抽取 对HTML元素、属性、文本进行操作 消除不受信任的HTML (来防止XSS攻击) 简言之，安卓跟web爬虫基本上没什么区别，都是通过请求获得响应。Android返回的是json格式的字符串，web返回的是页面，通过Jsoup我们可以方便的对网页的数据进行操作。 三、Jsoup的配置 首先在Jsoup官网 https://jsoup.org/download 下载对应的j
Android基于Jsoup的网络爬虫
2401_83817148的博客
04-20 628
Android返回的是json格式的字符串，web返回的是页面，通过Jsoup我们可以方便的对网页的数据进行操作。这里主要的分析网站是https://www.zhihu.com/topic/19550874/hot。其次是数据的展示，将数据放在listView中即可，如果要加入下拉刷新或者上滑加载则需要额外的工作。Elements这个对象提供了一系列类似于DOM的方法来查找元素，抽取并处理其中的数据。1.根据想要获取的资源，利用浏览器自带的审查元素功能(F12)获得想要的资源。
Android自由开发者 通过Jsoup抓取网页数据
叁叁啊啊啊啊
09-09 661
现在网上流行了一种自由开发者的风气；就是自己私下写一个简易的app上传到github上；可以以此项目作为开源；同时熟悉git操作；但是很多时候我们都需要一些数据来呈现在app中；如图片列表，如文字+图片列表；网上有很多开放式的api可以调用，如百度api、http://gank.io/api(干货集中营api)；如果你现在想弄自己的一套数据，想把一些网站的数据整合过来使用，那就需要去抓取某些网页中
Python爬虫教程，零基础教程（爬取网页数据）
最新发布
Python_trys的博客
07-30 1272
本文简单介绍了爬虫的基础知识以及需要用的库和方法，并做了非常简单的示例。总地来说，爬虫就是模拟网络请求，并解析、提取出我们想要的数据。爬虫可以帮助我们更快地获取网站上的数据，为工作和生活带来诸多便利。当然，也希望在学习 python 爬虫的过程中，大家能够更好的理解和应用 python的语法。最后这里给大家免费分享一份Python学习资料，包含了视频、源码、课件，希望能够帮助到那些不满现状，想提示自己却又没用方向的朋友，也可以和我一起来交流呀！编辑资料、学习路线图、源代码、软件安装包等！【点击这里】领取。
使用jsoup获取网页内容并修改
11-13
通过使用jsoup库，获取网页的内容，解析修改网页，并且能够显示出修改的结果。
Android项目获取网页信息的三种方法
qq_42024030的博客
06-23 2580
Android项目获取网页信息的三种方法：jsoup，url，get表单
Android Studio 爬虫 之 简单实现使用 jsoup/okhttp3 爬取购物商品信息的案例demo（附有详细步骤）
仙魁XAN
08-20 5313
Android Studio 爬虫 之 简单实现使用 jsoup/okhttp3 爬取购物商品信息的案例demo 一、简单介绍 Android 开发中的一些基础操作，使用Java 实现爬取指定网页的信息的方法整理，便于后期使用。 本节介绍，爬取 https://www.smzdm.com/ 网页的值得买精选的购物商品信息的方法，其中使用的工具是 jsoup 和 okhttp3。 二、实现原理 1、okhttp3 获得网页的 html 内容 2、jsoup 解析 h...
Android Jsoup 爬虫协议抓取网页信息
08-12
总之，Android中的Jsoup爬虫协议提供了一种高效且易于使用的工具来抓取和解析网页信息。结合合理的异步处理和异常处理策略，开发者可以构建强大的网络数据获取应用。通过深入学习Jsoup的选择器语法和实践各种网络...
基于Jsoup的 Android 网络爬虫，抓取海投网上的高校宣讲会信息。.zip
04-08
【标题】"基于Jsoup的 Android 网络爬虫，抓取海投网上的高校宣讲会信息"是一个Android应用程序，它利用Jsoup库来抓取并解析网页数据，特别是海投网上关于高校宣讲会的相关信息。Jsoup是Java的一个开源库，专为处理...
Android利用爬虫实现模拟登录的实现实例
08-29
Android利用爬虫实现模拟登录的实现实例 Android爬虫是指使用爬虫技术来实现模拟登录的功能，而不是真正的人为登录。 Android爬虫实现模拟登录的实现实例是指使用爬虫技术来模拟用户的登录行为，自动化登录流程，...
Android 抓取新闻
09-18
一个Android Demo程序，实现了从sina、腾讯等新闻网站抓取新闻
Android_Jsoup网页爬虫案例
03-06
给出网址可以抓取网页上的代码 可自己根据抓取网页的源码来修改要追踪的标签。 此demo为了熟悉和使用jsoup。
Android进阶(十三)网络爬虫&json应用
热门推荐
IT全栈 华强工作室
04-18 5万+
自己在网页爬取这一块怎么一个“菜”字了得，唉，对自己也是无语了！经过几次的折磨，对网页爬虫以及用到的json技术有了大致的了解，故作一总结，供有同样迷惑的朋友参考学习。
Android Jsoup 爬取网页
snake_son的博客
11-27 1218
selector 选择器的方法爬取package org.xdemo.example.jsoupdemo.extracter;import java.util.regex.Pattern;import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element;/** * @作者 Goofy *
java 用jsoup爬数据
qq690452074的专栏
09-21 493
其中cookie是用fidder找到： package com.lm.test; import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.selec
Android实战 Jsoup实现网络爬虫,糗事百科项目的起步
gaiyindexingqiu的博客
05-02 822
原文链接：http://mp.weixin.qq.com/s?__biz=MzAxMTI4MTkwNQ==&mid=2650822053&idx=1&sn=3600e1e040be990976fb7139a2d31151&chksm=80b7813bb7c0082d0b551b9633adce1748a575ce4bf0e64a5317af4aed7b455ae8780aee508a&mpshar
httpclient请开启javascript并刷新该页._见证小范逆袭之路——JavaScript（一）
weixin_36255718的博客
12-03 1666
介绍：JavaScript(简称“JS”) 是一种具有函数优先的轻量级，解释型或即时编译型的高级编程语言。虽然它是作为开发Web页面的脚本语言而出名的，但是它也被用到了很多非浏览器环境中，JavaScript 基于原型编程、多范式的动态脚本语言，并且支持面向对象、命令式和声明式(如函数式编程)风格能干什么：嵌入动态文本于HTML页面。对浏览器事件做出响应。读写HTML元素。在数据被提交到...
奈学：Java 和 JavaScript 是什么关系？
yuemuyi的博客
09-29 807
一、什么是Javascript? 它是运行在浏览器中的一种脚本语言，在web页面中，Javascript可谓是无所不能： 　　1. 可以操作HTML，提供了一种运行时改变HTML的工具; 　　2. 可以附加并执行事件，符合面向事件编程的思想; 　　3. 数据验证功能，在提交表单时对表单数据进行合法性验证; 　　4. 对客户浏览器的操作，前进、后退、刷新、跳转、打开新窗口、打印等; 　　5. 可以创建并使用Cookies. 　二、什么是Java? 　　Java是Sun公司推出的一种编程语言。它是一种通过解释方
Android利用Jsoup解析和抓取HTML数据详解
"这篇文章主要讲解了在Android平台上如何利用Jsoup库来抓取网页数据。Jsoup是一个Java的HTML解析库，它提供了便捷的API，允许开发者通过DOM、CSS选择器以及类似jQuery的方式处理和提取HTML内容。Jsoup支持从URL、...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值