爬虫笔记--虚拟环境、刷播放

已于 2023-12-18 11:29:01 修改
阅读量940 收藏 23
点赞数 21
分类专栏： 爬虫 文章标签： 爬虫 笔记 python
于 2023-12-18 11:25:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csqhack/article/details/135058520
版权

1.虚拟环境

为什么要存在虚拟环境？

  • 帮我写一个项目 枯叶，要求你用：requests==1.8

    pip install requests==1.8

    import requests
...

  • 需求又来了

    pip install request==2.1

    import requests
...

关于系统解释器（系统环境）：

  • 安装Python（安装Python解释器） C:\python39

    C:\python39
	- python.exe
	- Scripts
		- pip.exe
		- pip3.exe
	- Lib
		- xxx.py
		- re.py
		- random.py
		- site-packages（pip安装第三方模块）
			- requests==1.8

C:\python39\python.exe  code.py

pip install requests
C:\python39\Scripts\pip.exe install requests

    import requests    # sys.path

所以，在Python中就出现了虚拟环境。

根据你电脑上的系统解释器虚拟出来N个python解释器。

# 系统解释器
C:\python39
	- python.exe
	- Lib
		...
		- requests1==1.8
	- Scripts

# 虚拟环境（虚拟解释器）
F:\xx\oo\crm
	- python.exe
	- Lib
		...
		- requests==1.9
	- Scripts

# 虚拟环境（虚拟解释器）
F:\xx\oo\luffy
	- python.exe
	- Lib
		...
		- requests==2.0
	- Scripts

潜规则：一般情况下，我们每次创建项目，都会为项目创建一个虚拟环境。

  • 先创建虚拟环境：crm
  • 再创建项目
  • 项目 + 环境 关联起来，以后就可以利用这个环境专门去运行项目。

1.1 安装virtualenv

安装在系统解释器。

pip install virtualenv

# 系统解释器
C:\python39
	- python.exe
	- Lib
		...
		- requests1==1.8
	- Scripts
		- virtualenv.exe

1.2 利用virtualenv创建

在自己的终端（命令行）。

>>> F:
>>> cd /envs
>>> virtualenv crm --python=python3.9

1.3 写一段代码

/Users/wupeiqi/code.py

print("alex是个傻狗")

如果想要运行代码：

  • 直接根据环境的地址，找到python解释器去运行

    /Users/wupeiqi/s2/crm/bin/python3.9  /Users/wupeiqi/code.py

  • 激活虚拟环境，再运行

    • mac

      wupeiqi@192 ~ % source /Users/wupeiqi/s2/crm/bin/activate
(crm) wupeiqi@192 ~ %
(crm) wupeiqi@192 ~ % python code.py

    • win

      >>>F:
>>>cd envs/crm/Scripts
>>>activate

1.4 Pycharm+虚拟环境

  • 虚拟环境的目录：/Users/wupeiqi/envs/day01_spider
  • 项目目录：/Users/wupeiqi/PycharmProjects/day01_spider

1.5 切记

  • 虚拟环境的路径，不能包含中文
  • win系统+Pycharm终端会自动激活虚拟环境，请替换切换 powershell至cmd

2.B站刷播放

2.1 抓包和定位

期初，在抓包时可以禁止自动播放，这样容易定位点击播放时都发送了哪些请求。

2.2 请求体

aid 和 cid 是啥呢？由于在此请求中携带了这俩值，那么这两个值来源就可能：

  • 固定值
  • 前期请求返回的数据
    • cookie
    • header
    • body
  • js内部算法计算出来的
import requests
import json
import re

res = requests.get("https://www.bilibili.com/video/BV1ne4y1H7Zk")
# ["",]
data_list = re.findall(r'__INITIAL_STATE__=(.+);\(function', res.text)
data_dict = json.loads(data_list[0])

aid = data_dict['aid']
cid = data_dict['videoData']['cid']

print(aid)
print(cid)

2.3 cookie

cookie的来源：

  • 固定值
  • 其他请求返回
    • cookie
    • body
    • header
  • js算法生成
2.3.1 buvid3
import requests

session = requests.Session()
session.headers.update({
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
})

video_url = "https://www.bilibili.com/video/BV1ne4y1H7Zk/"
res = session.get(video_url)

print(res.cookies.get_dict())
# {'b_nut': '1664528708', 'buvid3': 'E4C54B76-FFC4-CF38-190E-0A9A184C02C908456infoc'}
2.3.2 b_lsid和_uuid

在spi请求之前，未发现有返回 b_lsid和_uuid的位置，那么就可能是js算法生成。

b_lsid
var e = this.splitDate();
t = Object(f.b)(e.millisecond)
t = "".concat(Object(f.c)(8), "_").concat(t);

清除cookie，断点调试：

所以，e就是时间戳。

e = new Date(Date.now()).getTime()

import time

e = int(time.time()*1000)

所以，t的就是对时间戳转换16进制再变大写。

Math.ceil 方法用于对数值向上取整，即得到大于或等于该数值的最小整数



import time

e = int(time.time()*1000)
t = hex(e)[2:].upper()
print(t)

e = 8

, a = function(e) {
    for (var t = "", n = 0; n < e; n++)
        t += o(16 * Math.random());  // 生成 16*随机小数 -> 十六进制
    // t
    return s(t, e)
}
	// 长度小于8，则在前面补0
    , s = function(e, t) {
    var n = "";
    if (e.length < t)
        for (var r = 0; r < t - e.length; r++)
            n += "0";
    return n + e
}
    , o = function(e) {
    return Math.ceil(e).toString(16).toUpperCase()
}

import math
import random

data = ""
for i in range(8):
    v1 = math.ceil(16 * random.uniform(0, 1))
    v2 = hex(v1)[2:].upper()
    data += v2
result = data.rjust(8, "0")
print(result)

还原最后，再讲两个字符串拼接起来，就是 b_lsid了

import time
import math
import random

data = ""
for i in range(8):
    v1 = math.ceil(16 * random.uniform(0, 1))
    v2 = hex(v1)[2:].upper()
    data += v2
result = data.rjust(8, "0")



e = int(time.time()*1000)
t = hex(e)[2:].upper()

b_lsid = "{}_{}".format(result,t)
print(b_lsid)
_uuid

再在当前页面继续搜索 _uuid

import time
import uuid


def gen_uuid():
    uuid_sec = str(uuid.uuid4())
    time_sec = str(int(time.time() * 1000 % 1e5))
    time_sec = time_sec.rjust(5, "0")
    return "{}{}infoc".format(uuid_sec, time_sec)


_uuid = gen_uuid()
print(_uuid)
2.3.3 buvid4
import math
import random
import time
import uuid
import requests
import re
import json


def gen_uuid():
    uuid_sec = str(uuid.uuid4())
    time_sec = str(int(time.time() * 1000 % 1e5))
    time_sec = time_sec.rjust(5, "0")

    return "{}{}infoc".format(uuid_sec, time_sec)


def gen_b_lsid():
    data = ""
    for i in range(8):
        v1 = math.ceil(16 * random.uniform(0, 1))
        v2 = hex(v1)[2:].upper()
        data += v2
    result = data.rjust(8, "0")

    e = int(time.time() * 1000)
    t = hex(e)[2:].upper()

    b_lsid = "{}_{}".format(result, t)
    return b_lsid


session = requests.Session()
session.headers.update({
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
})

video_url = "https://www.bilibili.com/video/BV1Pi4y1D7uJ"
res = session.get(video_url)

_uuid = gen_uuid()
session.cookies.set('_uuid', _uuid)

b_lsid = gen_b_lsid()
session.cookies.set('b_lsid', b_lsid)

session.cookies.set("CURRENT_FNVAL", "4048")

res = session.get("https://api.bilibili.com/x/frontend/finger/spi")

buvid4 = res.json()['data']['b_4']
print(buvid4)
2.3.4 sid
import math
import random
import time
import uuid
import requests
import re
import json


def gen_uuid():
    uuid_sec = str(uuid.uuid4())
    time_sec = str(int(time.time() * 1000 % 1e5))
    time_sec = time_sec.rjust(5, "0")

    return "{}{}infoc".format(uuid_sec, time_sec)


def gen_b_lsid():
    data = ""
    for i in range(8):
        v1 = math.ceil(16 * random.uniform(0, 1))
        v2 = hex(v1)[2:].upper()
        data += v2
    result = data.rjust(8, "0")

    e = int(time.time() * 1000)
    t = hex(e)[2:].upper()

    b_lsid = "{}_{}".format(result, t)
    return b_lsid


video_url = "https://www.bilibili.com/video/BV1Pi4y1D7uJ"
bvid = video_url.rsplit("/")[-1]
session = requests.Session()
session.headers.update({
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
})

res = session.get(video_url)
data_list = re.findall(r'__INITIAL_STATE__=(.+);\(function', res.text)
data_dict = json.loads(data_list[0])
aid = data_dict['aid']
cid = data_dict['videoData']['cid']

_uuid = gen_uuid()
session.cookies.set('_uuid', _uuid)

b_lsid = gen_b_lsid()
session.cookies.set('b_lsid', b_lsid)

session.cookies.set("CURRENT_FNVAL", "4048")

res = session.get("https://api.bilibili.com/x/frontend/finger/spi")
buvid4 = res.json()['data']['b_4']

session.cookies.set("CURRENT_BLACKGAP", "0")
session.cookies.set("blackside_state", "0")

res = session.get(
    url='https://api.bilibili.com/x/player/v2',
    params={
        "cid": cid,
        "aid": aid,
        "bvid": bvid,
    }
)

print(res.cookies.get_dict())

2.4.实现刷播放

2.4.1 隧道代理
2.4.2 代码示例
import time
import math
import random
import time
import uuid
import requests
import re
import json


def get_tunnel_proxies():
    proxy_host = "tunnel2.qg.net:17955"
    proxy_username = "xxxxxxx"
    proxy_pwd = "xxxxxxxxxxx"

    return {
        "http": "http://{}:{}@{}".format(proxy_username, proxy_pwd, proxy_host),
        "https": "http://{}:{}@{}".format(proxy_username, proxy_pwd, proxy_host),
    }


def gen_uuid():
    uuid_sec = str(uuid.uuid4())
    time_sec = str(int(time.time() * 1000 % 1e5))
    time_sec = time_sec.rjust(5, "0")

    return "{}{}infoc".format(uuid_sec, time_sec)


def gen_b_lsid():
    data = ""
    for i in range(8):
        v1 = math.ceil(16 * random.uniform(0, 1))
        v2 = hex(v1)[2:].upper()
        data += v2
    result = data.rjust(8, "0")

    e = int(time.time() * 1000)
    t = hex(e)[2:].upper()

    b_lsid = "{}_{}".format(result, t)
    return b_lsid


def play(video_url, proxies):
    bvid = video_url.rsplit("/")[-1]
    session = requests.Session()
    session.proxies = proxies
    session.headers.update({
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
    })

    res = session.get(video_url)
    data_list = re.findall(r'__INITIAL_STATE__=(.+);\(function', res.text)
    data_dict = json.loads(data_list[0])
    aid = data_dict['aid']
    cid = data_dict['videoData']['cid']

    _uuid = gen_uuid()
    session.cookies.set('_uuid', _uuid)

    b_lsid = gen_b_lsid()
    session.cookies.set('b_lsid', b_lsid)

    session.cookies.set("CURRENT_FNVAL", "4048")

    res = session.get("https://api.bilibili.com/x/frontend/finger/spi")
    buvid4 = res.json()['data']['b_4']
    session.cookies.set("buvid4", buvid4)
    session.cookies.set("CURRENT_BLACKGAP", "0")
    session.cookies.set("blackside_state", "0")

    res = session.get(
        url='https://api.bilibili.com/x/player/v2',
        params={
            "cid": cid,
            "aid": aid,
            "bvid": bvid,
        }
    )

    ctime = int(time.time())
    res = session.post(
        url="https://api.bilibili.com/x/click-interface/click/web/h5",
        data={
            "aid": aid,
            "cid": cid,
            "bvid": bvid,
            "part": "1",
            "mid": "0",
            "lv": "0",
            "ftime": ctime - random.randint(100, 500),  # 浏览器首次打开时间
            "stime": ctime,
            "jsonp": "jsonp",
            "type": "3",
            "sub_type": "0",
            "from_spmid": "",
            "auto_continued_play": "0",
            "refer_url": "",
            "bsource": "",
            "spmid": ""
        }
    )

    # print(res.text)


def get_video_id_info(video_url, proxies):
    session = requests.Session()
    bvid = video_url.rsplit('/')[-1]
    res = session.get(
        url="https://api.bilibili.com/x/player/pagelist?bvid={}&jsonp=jsonp".format(bvid),
        proxies=proxies
    )

    cid = res.json()['data'][0]['cid']

    res = session.get(
        url="https://api.bilibili.com/x/web-interface/view?cid={}&bvid={}".format(cid, bvid),
        proxies=proxies
    )
    res_json = res.json()
    aid = res_json['data']['aid']
    view_count = res_json['data']['stat']['view']
    duration = res_json['data']['duration']
    print("\n视频 {}，平台播放量为：{}".format(bvid, view_count))
    session.close()
    return aid, bvid, cid, duration, int(view_count)


def run():
    proxies = get_tunnel_proxies()
    video_url = "https://www.bilibili.com/video/BV1N94y1R7K5"
    aid, bvid, cid, duration, view_count = get_video_id_info(video_url, proxies)
    while True:
        try:
            get_video_id_info(video_url, proxies)
            play(video_url, proxies)
            view_count += 1
            print("理论刷的播放量：", view_count)
        except Exception as e:
            pass


if __name__ == '__main__':
    run()
语欣语涵
关注
专栏目录
视频播放量的变化逻辑
nobestnobest的博客
12-10 1111
以此文记录爬虫逆向学习思路代理ip+cookie来刷播放缺陷：据说破站这方面的检测很严格了，这种刷播放的方式，不会真的观看视频，就是点播一下，如果很多播放量都是这种点播而且还都是游客播放b站是能检测到的，检测到就刷了也没用播放量也不会涨的。
某站增加视频播放量-逆向分析
m0_58659180的博客
11-07 3240
记录 简单的JS逆向, 刷b站播放量
JS逆向 -- 分析某站b_lsid值加密过程
weixin_41489908的博客
05-15 384
一、清除缓存，重新加载页面，全局搜索b_lsid值，挨个进行分析，找到关键代码，并下断。三、结合上节课，将JS合并一下，并通过Python调用，最终python代码如下。JS逆向 -- 分析某站buvid3和_uuid的加密过程。1、this.splitDate()获取时间信息。2、e.millisecond获取时间戳。3、l.b函数跟进去是o函数。4、l.c函数跟进去。5、最终JS代码如下。
js逆向播放量增加，增加视频热度，uuid，sid，buvid3，aid，b_lsid, b_nut 还原实现过程
weixin_47481982的博客
11-03 1491
本次记录尝试你想某视频平台播放量：主要思路：（不断debug，观察代码设计还原实现）1.播放量增加必定是点击播放后的记录2.清空监视器，点击播放开始debug，截取到的就代表包含了增加播放量的包3.验证截取到的包，测试看哪一个是包含增加播放量的4.还原模拟发送请求浏览器逆向debug没有捷径只能不断练习找感觉。懂Java、js越多越好，虽然看的都是经过混淆的代码，但还是能看到实现的过程（本人也还在学习阶段）测试了超级久太多内容了，这里我也就只能记录还原实现的过程吧。
B 站弹幕 protobuf 协议还原分析
静觅
07-05 882
这是「进击的Coder」的第 657篇技术分享作者：TheWeiJun来源：逆向与爬虫的故事“ 阅读本文大概需要 3 分钟。 ”目录一、什么是protobuf？二、网站调试分析三、protobuf协议还原四、完整代码实现五、心得分享及总结趣味模块小红是一名数据分析工程师，自从上次小红解决了字体反爬的问题后，小红还未遇到过有难度的问题。但是天有不测风云，今天...
部署python爬虫_python爬虫笔记--部署相关库的安装
weixin_35672450的博客
12-23 93
部署相关库的安装大规模抓取数据，需要分布式爬虫。分布式爬虫需要多台主机，每台主机有多个爬虫任务，但源代码只有一份。需要将一份代码同时部署到多台主机上来协同运行。Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。对于Scrapy，它有一个扩展组件，叫Scrapyd，安装该...
day1-爬虫笔记
m0_69534331的博客
05-09 89
爬虫 1、爬虫基础 1.1.cookie 1）作用：将用户的账号密码使用某些形式保存在本地 2）性质：有时效性 3）在爬虫中cookie作用：将本地的请求和远程的服务器中保存的账号密码做对比 1.2.GET和POST 说明：两种不同的和服务器对话方式 1）GET:requests利用GET请求方式向服务器发送请求（加密机制很简单甚至不加密） 2）POST：向服务器发送内容。例如账号密码（某个网站注册登陆账号密码） 2、模块安装 2.1.requests 作用：python实现的简单易用的能够请求网页的三方模
爬虫（一）-笔记
码python的Vinsmoke
06-02 2094
爬虫概述 1. 爬虫的概念 模拟浏览器，发送请求，获取响应 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做 爬虫也只能获取客户端(浏览器)所展示出来的数据 2. 爬虫的作用 爬虫在互联网世界中有很多的作用，比如： 数据采集 抓取微博评论(机器学习舆情监控) 抓取招聘网站的招聘信息(数据分析、挖掘) 新浪滚动新闻 百度新闻网站 软件
爬虫（三）-笔记
码python的Vinsmoke
06-30 2461
scrapy的概念和流程 1. scrapy的概念 Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。 Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。 Scrapy文档地址：http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html 2. scrapy框架的作用 少量的代码，就能够快速的抓取 3. scrapy的工作流程 3.1
基于python的系统设-paper-ma笔记
06-01
2. 虚拟环境：venv或conda用于创建独立的Python环境，确保项目依赖的隔离。 3. 模块化编程：Python的import机制使得代码组织有序，提高代码复用。 4. 测试驱动开发：unittest、pytest等测试框架有助于保证代码质量。...
爬虫从小白到精通笔记---第二周---非结构化数据和结构化数据的提取
weixin_44747854的博客
12-03 515
二、非结构化数据和结构化数据的提取 页面解析和数据提取 一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为两部分，非结构化的数据 和 结构化的数据。 非结构化数据：先有数据，再有结构，（http://www.baidu.com）/) 结构化数据：先有结构、再有数据（http://wangyi.butterfly.mopaasapp.com/news/api?type=war&page=1&limit=10） 不同类型的数据，我们需要采用不同的方式来处理
爬虫教程（ 1 ） --- 初级、基础、实践
墨鱼菜鸡
07-11 3021
爬虫教程：https://piaosanlang.gitbooks.io/spiders/content/ 如何入门 Python 爬虫：https://zhuanlan.zhihu.com/p/21479334 静觅 崔庆才的个人博客 Python 爬虫系列：http://cuiqingcai.com/category/technique/pyth...
Python网络爬虫笔记13：程序打包
m1m2m3mmm的博客
02-12 801
打包指令及注意事项的说明
15分钟学 Python 第38天 ：Python 爬虫入门（四）
weixin_40780178的博客
10-05 778
反爬虫机制是网站采用的一系列技术手段，用以阻止或限制爬虫的访问。反爬虫机制描述用户代理检查检查请求的User-Agent是否正常IP限制限制特定IP地址的请求频率验证码在请求中插入验证码以确认用户身份Cookie验证使用Cookies验证用户身份动态内容加载使用JavaScript动态加载部分内容，爬虫无法直接获取在本节中，我们详细探讨了Python爬虫中的异常处理与反爬虫机制。学习如何有效处理各种异常，并采取合理的反爬虫策略，以增强爬虫程序的稳定性和抗压能力。
Python爬虫通过 Cookie 和会话管理来维持其在网站上的会话状态
2301_80892630的博客
09-30 1250
通过使用 Cookie 和会话管理，可以实现python爬虫模拟用户登录并保持会话状态，从而实现对需要登录的网站的有效抓取。requests库提供了简单而强大的接口，帮助开发者处理这些复杂的会话操作。在使用这些技术时，务必遵守网站的使用条款和相关法律法规，确保合法合规。
初始爬虫11
2301_77869606的博客
10-03 337
【代码】初始爬虫11。
初始爬虫12（反爬与反反爬）
最新发布
2301_77869606的博客
10-06 913
学到这里，已经可以开始实战项目了，多去爬虫，了解熟悉反爬，然后自己总结出一套方法怎么做。
15分钟学 Python 第35天 ：Python 爬虫入门（一）
weixin_40780178的博客
10-03 1357
网页爬虫是一种程序，其功能是自动抓取和检索互联网信息。步骤描述发送请求通过网络请求（HTTP/HTTPS协议）访问网页获取响应服务器返回网页的HTML文档解析数据提取需要的信息（如文本、图片链接等）存储数据将提取的信息保存到本地或数据库中常见的爬虫应用场景搜索引擎：Google、Bing等通过爬虫获取网页信息以建立索引。数据分析：通过抓取社交媒体数据，分析用户行为和趋势。价格监控：电商网站的商品价格跟踪与比较。新闻聚合：从多个新闻网站抓取并汇总新闻信息。
Python爬虫笔记1-爬虫背景了解
05-29
好的，你的第一个问题是关于 Python 爬虫笔记的。Python 爬虫是一种自动化程序，它可以模拟浏览器行为，从网页中获取所需的信息。这些信息可以是文本、图片、视频等。爬虫通常用于数据采集、搜索引擎优化、数据挖掘...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值