抖音分享页面(2020版本) 数据抓取 Golang版

最新推荐文章于 2024-05-11 05:38:45 发布
最新推荐文章于 2024-05-11 05:38:45 发布
阅读量1.6k 收藏 3
点赞数 1
分类专栏： 爬虫技术分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lypgcs/article/details/109139860
版权

 

本文以分享技术为主，禁止将本文内容使用任何形式的商业形式或违法活动，后果自负。

---

# 原理介绍

通过代码模拟浏览器打开抖音的分享页面，从而获取到用户的信息，而不需要理解各种抖音请求的算法，最低门槛开始数据获取之路。

 

简单看一下下面的图，显示出来的信息都可以获取到，比如关注数，粉丝数，点赞数，作品数，喜欢数。

 

# 分享从哪里来？

 

在右下角菜单"我"-->右上角菜单"三条杠"-->我的二维码, 如果是其他用户也可以在用户信息界面的右上角菜单找到.

 

 

 

到目前为止就得到了一个链接,我们将要开始模拟浏览器打开请求获取到这个链接的数据。  

 

使用到的技术点：

编程语言：Golang(需要go mod)

模拟浏览器：chromedp

便捷部署：Docker

 

获取到这个数据是这样一个过程：

1. 打开分享页面的链接，会发生302跳转，从location的头部信息拿到跳转后的URL

2. 通过跳转后的URL中拿到sec_uid参数

3. 使用sec_uid参数拼接数据接口，请求数据  

 

就是这样三步就可以拿到用户的基本信息了。

 

项目准备工作,以linux命令展示：

创建项目目录(douyin)： mkdir douyin

初始化go mod信息: go mod init

创建main.go文件 : touch main.go,将完整代码写入到main.go

 

以下是完整的代码：

package main

import (
	"bytes"
	"context"
	"fmt"
	"io"
	"log"
	"net/http"
	"strings"
	"time"

	"github.com/chromedp/cdproto/cdp"
	"github.com/chromedp/cdproto/fetch"
	"github.com/chromedp/cdproto/network"
	"github.com/chromedp/chromedp"
)

func main() {
	// 设置路由，如果访问/，则调用index方法
	http.HandleFunc("/index", index)
	// 启动web服务，监听9090端口
	err := http.ListenAndServe(":8000", nil)
	if err != nil {
		panic(err)
	}
	log.Println("server.started")
}

func index(w http.ResponseWriter, r *http.Request) {
	url := r.URL.Query().Get("url")
	log.Println("get.url:", url)
	result := loadDouYin(url)
	fmt.Fprintf(w, result)
}

func loadDouYin(firstUrl string) string {
	opts := append(chromedp.DefaultExecAllocatorOptions[:],
		chromedp.DisableGPU,
		chromedp.NoDefaultBrowserCheck,
		chromedp.NoSandbox,
		chromedp.Flag("headless", true),
		chromedp.Flag("ignore-certificate-errors", true),
	)

	//创建chrome
	allocCtx, _ := chromedp.NewExecAllocator(context.Background(), opts...)

	br, brcancel := chromedp.NewContext(allocCtx)
	//打开一个空白页面测试一下是否打开
	err := chromedp.Run(br, chromedp.Navigate("about:blank"))
	if err != nil {
		panic("chrome open blank failed, " + err.Error())
	}
	defer brcancel()
	//新建一个tab
	tab, tabcancel := chromedp.NewContext(br)
	defer tabcancel()

	secondurl := ""
	//监听请求的数据
	chromedp.ListenTarget(tab, func(ev interface{}) {
		switch evnt := ev.(type) {
		case *fetch.EventRequestPaused:
			go func(evt *fetch.EventRequestPaused) {
				var requestid = evt.RequestID
				nctx := chromedp.FromContext(tab)
				lctx := cdp.WithExecutor(tab, nctx.Target)
				defer func() {
					//如果不执行这一步 请求在发起一个请求后停住  比如打开一个页面有三个请求,如果不执行这里 则会卡在第一个请求后
					err = fetch.ContinueRequest(requestid).Do(lctx)
					if err != nil {
						log.Println(" continuerequest failed," + err.Error())
					}
				}()
				log.Println("evt.ResponseStatusCode:", evt.Request.URL, evt.ResponseStatusCode)
				if evt.ResponseStatusCode == 302 {
					for _, v := range evt.ResponseHeaders {
						//拿到302请求中的location头部信息, 需要跳转的URL
						if v.Name == "location" {
							secondurl = v.Value
							break
						}
					}
					return
				} else if evt.ResponseStatusCode == 304 {
					return
				}
				if secondurl != "" {
					//拿到了302的链接
					log.Println("get.302.url.success:", secondurl)
				} else {
					log.Println("get.302.url.failed")
				}
			}(evnt)
		}
	})

	err = chromedp.Run(tab, network.Enable(), fetch.Enable().WithPatterns([]*fetch.RequestPattern{
		{
			//监听请求的response类型
			ResourceType: network.ResourceTypeDocument,
			RequestStage: "Response",
		},
	}), chromedp.Navigate(firstUrl))
	// time.Sleep(3 * time.Second)
	if secondurl != "" {
		//https://www.iesdouyin.com/share/user/96875399323?u_code=15a973a6e&sec_uid=MS4wLjABAAAADufhDZPJqGpNo-4ay7ZQtVsZbvCxVPEesV4PUAE2wyc&timestamp=1602391166&utm_source=copy&utm_campaign=client_share&utm_medium=android&share_app_name=douyin
		strs1 := strings.Split(secondurl, "&")
		for i := 0; i < len(strs1); i++ {
			if strings.Contains(strs1[i], "sec_uid") {
				strs := strings.Split(strs1[i], "=")
				if len(strs) > 0 {
					secUid := strs[1]
					log.Println("get secUid :", secUid)
					url := "https://www.iesdouyin.com/web/api/v2/user/info/?sec_uid=" + secUid
					return doDYinfo(url)
				}
			}

		}
	}
	return "nothing"
}

func doDYinfo(url string) string {

	request, err := http.NewRequest("GET", url, nil)
	if err != nil {
		panic(err)
	}

	request.Header.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8")
	request.Header.Add("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3")
	request.Header.Add("Connection", "keep-alive")
	//写入浏览器的user agent
	request.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36")

	// 超时时间：5秒
	client := &http.Client{Timeout: 5 * time.Second}
	resp, err := client.Do(request)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()
	var buffer [512]byte
	result := bytes.NewBuffer(nil)
	for {
		n, err := resp.Body.Read(buffer[0:])
		result.Write(buffer[0:n])
		if err != nil && err == io.EOF {
			break
		} else if err != nil {
			panic(err)
		}
	}
	log.Println("req.result:", result.String())
	return result.String()
}

 

这段代码的最终结果是用Golang自带的http server启动了一个http服务,端口号是8000,开放了一个/index路径的API,API只有一个参数,也就是分享页面的链接.返回的结果就是抖音接口的数据.  

例如：  

1. 启动程序.

[root@normal11 douyin]# go run main.go

2. 请求一个分享页面的用户基本数据

[root@normal11 faither]# curl localhost:8000/index?url=https://v.douyin.com/JP1BNGa/
{"status_code":0,"user_info":{"uid":"59424687354","aweme_count":10,"following_count":42,"verification_type":1,"original_musician":{"music_count":0,"music_used_count":0},"followers_detail":null,"platform_sync_info":null,"secret":0,"type_label":null,"nickname":"PVP","avatar_thumb":{"uri":"tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600","url_list":["https://p3-dy-ipv6.byteimg.com/img/tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600~c5_100x100.jpeg?from=4010531038","https://p29-dy.byteimg.com/img/tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600~c5_100x100.jpeg?from=4010531038","https://p6-dy-ipv6.byteimg.com/img/tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600~c5_100x100.jpeg?from=4010531038"]},"avatar_medium":{"uri":"tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600","url_list":["https://p9-dy.byteimg.com/img/tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600~c5_720x720.jpeg?from=4010531038","https://p29-dy.byteimg.com/img/tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600~c5_720x720.jpeg?from=4010531038","https://p3-dy-ipv6.byteimg.com/img/tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600~c5_720x720.jpeg?from=4010531038"]},"follower_count":9315,"custom_verify":"","region":"CN","is_gov_media_vip":false,"short_id":"10566482","signature":"","avatar_larger":{"uri":"tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600","url_list":["https://p26-dy.byteimg.com/img/tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600~c5_1080x1080.jpeg?from=4010531038","https://p29-dy.byteimg.com/img/tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600~c5_1080x1080.jpeg?from=4010531038","https://p3-dy-ipv6.byteimg.com/img/tos-cn-avt-0015/70e93c2224fc560d7b72d634c7a30600~c5_1080x1080.jpeg?from=4010531038"]},"favoriting_count":1459,"total_favorited":"462000","unique_id":"","geofencing":null,"policy_version":null},"extra":{"now":1602950144000,"logid":"202010172355440101980230914C625738"}}

注意：程序需要chromedp,这个是开源的模拟chrome的工具.需要自行安装,不希望安装这个工具可以接着往下看：使用Docker部署

 

# Docker便捷部署

编写了一个Dockerfile,用于docker部署,这样本机就可以不用折腾chromedp相关的环境问题了。  

Dockerfile的内容如下：

FROM centos:7.6.1810

# 安装中文字体和chromedp
RUN yum install -y wget && \
    yum install -y wqy-microhei-fonts wqy-zenhei-fonts && \
    wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm && \
    yum install -y ./google-chrome-stable_current_*.rpm && \
    google-chrome --version && \
    rm -rf *.rpm

# 设置go mod proxy 国内代理和golang path
ENV GOPROXY=https://goproxy.io GOPATH=/gopath PATH="${PATH}:/usr/local/go/bin"
# 定义使用的Golang 版本
ARG GO_VERSION=1.13.6

# 安装 golang 1.13.6
RUN wget "https://dl.google.com/go/go$GO_VERSION.linux-amd64.tar.gz" && \
    rm -rf /usr/local/go && \
    tar -C /usr/local -xzf "go$GO_VERSION.linux-amd64.tar.gz" && \
    rm -rf *.tar.gz && \
    go version && go env;


WORKDIR $GOPATH
COPY . douyin

RUN cd douyin && go build -o app;

EXPOSE 8000

CMD ["douyin/app"]

 

 自行打包成docker镜像后就可以使用了，命令如下：

1. cd到项目目录下,目录应该有四个文件

[root@normal11 douyin]# ls
Dockerfile  go.mod  go.sum  main.go

2. 打包docker镜像

 docker build -t douyin .

3. 启动docker容器

docker run --rm -p 8000:8000 douyin

4. 访问接口获取数据

linux: 

curl localhost:8000/index?url=你要获取数据的分享页面链接

windows:

在浏览器打开localhost:8000/index?url=你要获取数据的分享页面链接

四颗咖啡豆LanLiang
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DY-DanMu:斗鱼弹幕抓取
05-31
DY-DanMu 斗鱼弹幕抓取 具体思路 根据斗鱼开发文档 进行websocket端抓取 消息长度：4 字节小端整数，表示整条消息（包括自身）长度（字节数）。 消息长度出现两遍，二者相同。 消息类型：2 字节小端整数，表示消息类型。取值如下： 689 客户端发送给弹幕服务器的文本格式数据。 690 弹幕服务器发送给客户端的文本格式数据。 加密字段：暂时未用，默认为 0。保留字段：暂时未用，默认为 0。 websocket标准请查询 中文版讲解 ##具体服务为三个 1. spider端: 连接websocket后实时获取弹幕信息通过gorutine连接rpc服务器进行存储 2. RPC-server端: 连接数据库进行数据存储 查询工作 3. Web端: 实现api接口进行参数解析 连接rpc进行查询 由于数据量剧增 新增cache层（redis缓存）。
nodejs 爬弹幕
qq_39189034的博客
07-04 835
var websocket = require(‘ws’); var ws = new websocket(‘wss://danmuproxy.douyu.com:8506/’) ws.on(‘error’, function(err) { console.error(‘Catched Websocket Error’, err); }); ws.on(‘close’, function() { console.warn(‘Websocket Connection closed’); }); ws.on(‘
2024年最新Python手机App数据抓取实战：抖音用户的抓取(2)，社招自我面试
最新发布
2301_79099373的博客
05-11 1218
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。我们发现出问题了，发现现在直接提示空的响应而不是证书的问题，看到mitmdump报的错误是 killed by block_global 是什么原因呢？
douyin uid转sec_uid 各种进行转换
m0_56967679的博客
11-03 1216
本篇文章进行dy的uid转sec_uid
go语言抖音直播真实地址提取
Clown95
09-28 2760
package live import ( "GetRelLiveUrl/utils" "encoding/json" "fmt" "net/http" "regexp" "strings" ) type Dy struct { Data struct { Room struct { StreamURL struct { RtmpPullURL string `json:"rtmp_pull_url"` HlsPullURL string `
抖音直播间弹幕rpc学习
weixin_52118017的博客
01-01 8204
抖音直播弹幕
golang抓取网页并分析页面包含的链接方法
09-18
今天小编就为大家分享一篇golang抓取网页并分析页面包含的链接方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Jsoup 抓取页面的数据实例详解
08-31
在本文中，我们将深入探讨如何使用 Jsoup 实现网页数据的抓取，通过实例来了解其核心功能。 首先，要使用 Jsoup，你需要将对应的 jar 包（如 jsoup-1.7.3.jar）引入到你的项目中。这可以通过添加依赖管理工具（如 ...
YiSou体验版_易搜数据抓取_源码
10-02
数据抓取，地图采集，企业名录采集，招聘采集，本地采集
抓取淘宝页面数据
01-08
本教程主要聚焦于如何抓取淘宝页面的数据，这是一个涉及到网页解析、HTTP请求和可能的反爬策略应对的综合课题。 首先，我们需要理解淘宝页面的数据是通过HTML、JavaScript以及API接口等方式呈现的。对于静态数据，...
Autojs4.1.0实战教程—抖音极速版功能合集
01-03
但是也很费劲，并且薅羊毛UI版不支持自动清理内容、自动签到和终级大招自动提现，今天分享给大家的这个抖音小助手支持如下功能： 功能描述不让发大家看截图！ 给大家放几个图看看，我在把做这个Apk时候的难点说说，...
douyin-shua.js
11-17
autojs抖音自动化运行，包含点赞、评论、自动播放、关注功能；具体执行根据不同手机版本及型号进行调整，支持精准点击
抖音跑号_主要是跑抖音号的 不懂的不要下载
05-01
支持安卓和模拟器 都可以 现在分享出来, 不了解的别、这类的东西基本就没有人分享！且行且珍惜~主要用途不多做讲解
java如何获取抖音弹幕
weixin_42611310的博客
02-14 1459
用 Java 获取抖音弹幕可以通过抓取抖音视频播放页面的弹幕数据，再通过解析数据获取弹幕信息。具体实现可以使用网络爬虫技术，如使用 Java 的 HttpClient 库发送 HTTP 请求获取播放页面的源代码，再使用解析 HTML 的工具，如 JSoup 库解析出弹幕数据。 这是一个比较复杂的过程，需要对 Java 网络编程和 HTML 解析等技术有一定了解。在实现过程中，需要注意一些安全性问题...
某音_signature参数破解及实时弹幕抓取
qq_41721353的博客
11-26 5110
某音_signature参数破解及实时弹幕抓取
Chrome分析网页-一步步获取Bilibili弹幕
学习使我快乐
12-01 4435
Chrome分析网页-一步步获取Bilibili弹幕Chrome 提供的8大工具简介Elements 从浏览器的视角来看页面，也就是说我们可以看到chrome渲染页面所需要的HTML，CSS和DOM（Document Object Model）对象。此外，还可以编辑这些内容更改页面的显示效果。Netwrok 可以看到页面向服务器请求了哪些资源，资源的大小以及加载资源花费的时间；也可以看到哪些资源不能
教你用20行代码爬取直播平台弹幕（附源码）
chinaherolts2008的博客
01-15 1985
前言 本文的文字及图片来源于网络,仅供学习、交流python基础教程使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://www.xin3721.com/eschool/pythonxin3721/ 基本开发环境 Python 3.6 Pycharm 相关模块的使用 import requests 斗鱼直播视频弹幕爬取分析 教你用20行代码爬取直播平台弹幕（附源码） 斗鱼就选择<一条小团团>的直播视频，毕竟大主
python小脚本获取抖音直播源的demo
Steven的杂货铺
12-05 8974
用requests库直接获取抖音分享后的短连接的response。不需要自己去解析。 自动回解析出长链接。 里面包含了直播流等信息，然后可以通过json获取出来，我比较懒，直接用正则提取一下就行了！ 然后通过 PotPlayer 软件就可以录制了。或者直接obs进行无人转播等。就这么简单。。。。 举例说明一下： 首先运行脚本，当然你需要有requests第三方库，当然玩爬虫的这个也是必备的。手机里面分享短连接出来后，直接运行脚本，复制短连接后。 回车运行后，直接在后面正则匹配到直播源。 然后就通过这
go语言抖音demo
tonny的博客
02-24 1287
首先从dao层的代码说起，dao层主要是用来设计对db数据库的访问并把数据封装对象的过程。代码设计全部采用的是单例模式，我的是gorm框架来对数据库进行访问，直接反射到对应的结构体中。在使用gorm的过程中，通过使用外键，使用gorm框架的的has one、has many 、many to many 、belongs to、通过设置标签进行联合查询，有些特殊需求是通过自写sql来解决的。下面通过看几个例子// QueryLikeByUserid DeleteLike 查找映射 并且返回lists。
抖音 抓取弹幕 golang
09-17
抖音抓取弹幕可以使用Golang进行实现。可以通过模拟浏览器打开抖音分享页面，然后通过代码获取用户的信息。具体步骤如下： 1. 使用Golang的http包发送HTTP请求，模拟浏览器打开抖音分享页面。 2. 解析返回的HTML页面，找到抖音弹幕所在的元素，通常是通过HTML标签、class或id进行定位。 3. 使用Golang的websocket包连接斗鱼的弹幕服务器，获取弹幕消息。 4. 解析弹幕消息，提取所需的信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值