爬虫
--龙
欲做诸佛龙象,先做众生马牛
展开
-
爬虫之-bilibili视频下载-分片下载合并
分片下载原理:如100M文件,我们每次下载1M之后持续写到文件中,直到超出限度就停止写入(具体细节已在源码中进行了说明) def fileDownload(homeurl, url, title, typ): """ 视频及音频分片下载 :param homeurl: B站地址 :param url: 下载链接 :param title: 视频名称 :param typ: 类型: 0(视频) 1(音频) :return: """ headers = getHtmlHeader.原创 2020-11-27 10:49:14 · 602 阅读 · 1 评论 -
爬虫之-bilibili视频下载-下载链接获取
获取系列视频信息:(名称+请求地址)urls = []names = []bv_num = "这里是需要下载视频的BV值"def get_tilt(): http = "https://www.bilibili.com/video/%s?p=%s" try: url = "https://www.bilibili.com/video/%s" % bv_num response = requests.get(url=url, headers=getHtmlHeaders) if re原创 2020-11-27 10:33:38 · 1765 阅读 · 0 评论 -
爬虫之-bilibili视频下载-接口分析
事件起因:朋友:我最近想学一个***技术,在B站找到了教学视频。我想把视频弄下来方便学习。 我:B站不提供下载功能,估计只能安排一波了! 朋友:最后是一下把一个系列的全下下来。 我:好的,我来安排安排。需求分析:需求:一键下载B站某一系列视频思路:分析一下网站源码,找到视频下载接口 模拟接口下载视频接口分析:网页打开该视频,查看网页源码分析:(我们可以通过p控制“集”)view-source:https://www.bilibili.com/video/BV..原创 2020-11-27 10:08:37 · 1893 阅读 · 0 评论 -
爬虫之-APK下载
因工作学习需要大量APK样本,手动下载太痛苦,自动挖掘一招解决。第一步:需求分析 1.正经渠道的APK。 2.随机取不要太刻意的找某个类型的 3.动静不要太大,爬多了有点慌第二步:找口子 发现可以在应用市场中通过搜索找APK,返回的是json。下面是例子: https://sj.qq.com/myapp/searchAjax.htm?kw=a&pns=MzA=...原创 2020-05-25 10:55:48 · 1275 阅读 · 1 评论