数据采集--某度翻译全流程

最新推荐文章于 2023-10-25 10:15:44 发布
最新推荐文章于 2023-10-25 10:15:44 发布
阅读量869 收藏
点赞数
文章标签： js python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ssunshining/article/details/122275477
版权

一、观察网页源代码

目标网站：fanyi.baidu.com，输入需要查询的单词，出现如下界面

右键查看网页源代码：

ctrl+f搜索关键字 '苹果'，搜索的结果为0，也就不能用requests直接请求数据了，数据是通过可能是加密或者通过js加载的的，因此需要对其进行数据加载的逻辑进行分析

二、抓包查看参数

重新点开fanyi.baidu.com进入到翻译界面，右键打开检查，勾选Network-->Fetch/XHR，在左边粘贴索要输入的单词，比如：apple

粘贴输入完成后出现了如下界面，挨个进行查看是否有翻译过后的内容

在sug的请求中发现有一些翻译的内容，需要注意的是，这里的翻译内容并非是我们需要的那个翻译

于是继续往下寻找，在v2transapi开头的请求中发现翻译的结果

查看请求的参数信息

请求方式为post,参数在payload下面查看

三、python发送请求获取数据

于是回到界面中编写代码，发送请求数据

import requests


url = r'https://fanyi.baidu.com/v2transapi?from=en&to=zh'

data = {
    'from': 'en',
    'to': 'zh',
    'query': 'apple',
    'transtype': 'realtime',
    'simple_means_flag': 3,
    'sign': '704513.926512',
    'token': '57ad27fdfc82112d8227dd87c55f633f',
    'domain': 'common',
}

headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
    'Cookie':'__yjs_duid=1_0494dcb7db96dbf2e7eb8e643fb6ec9e1635902286958; REALTIME_TRANS_SWITCH=1; HISTORY_SWITCH=1; FANYI_WORD_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; BDUSS=pleldUVEk1NGlDUmExNDNJSGYwWFFDcX5SaHhmNUg4OGk5b0l1Wm42UDFIckpoRUFBQUFBJCQAAAAAAAAAAAEAAADXXK1EMzE5Nzc2MTAydwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAPWRimH1kYphR0; BDUSS_BFESS=pleldUVEk1NGlDUmExNDNJSGYwWFFDcX5SaHhmNUg4OGk5b0l1Wm42UDFIckpoRUFBQUFBJCQAAAAAAAAAAAEAAADXXK1EMzE5Nzc2MTAydwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAPWRimH1kYphR0; BAIDUID=CE404BEB4FC3648E0C1F8B039B8EA0AC:FG=1; BIDUPSID=CE404BEB4FC3648E0C1F8B039B8EA0AC; PSTM=1638351819; BAIDUID_BFESS=CE404BEB4FC3648E0C1F8B039B8EA0AC:FG=1; APPGUIDE_10_0_2=1; H_PS_PSSID=35639_34441_35468_35104_31660_35628_35488_34584_35491_35688_35542_35665_35318_26350_35619_35562; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1641048772,1641049491; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1641090825; __yjs_st=2_YjYyODIwODU2MTUyOWZlYTY2MWViYTBhMTZkODczMWQxMzlhYjU1MzlmM2QzM2NiYjE3NGNjOTU0ZDgzNDk3ZGU1M2Y3NTZiNDJjZDViZGJkZWIxMTllYzE1MTBjM2FiOGIzMTI1MDBlZjBmNmY2MGNkNTM1YmEzYTYxZTlmMjBmNDcxMTVkOWNiM2M2ZWViNjRiYzRkYzk4NWE2ZTFiMjI2MTI2MWFjYTJhMTEyMTg5MDk2MDcxZTNhOGRlMDFkYjE3MzRiNmI0OTcxMTAwYmQ4ZGZmY2NjMGMyYTM4NjA0Y2UzNGZhMDRhMDIwYmVkNjljYzhmM2I1NTQ2Nzg0ZV83X2Q1OWE3ZTQ0; ab_sr=1.0.1_ODJhZWI3ZTc5MDRhZjA4OGUzYjM3YjdjMjlhNzM0OWUwYjM5ODBhNGVlNjg0MDY4NjI0NWI0NDZhMGQ4MDRhZDVlYTAzNDZjNzIzNDM4YzY4ZTNmZTRlZmY5MTFmMjU3MzkwYTVlMDQyMjJjODYzZTMzYjVmYjAxMzE2ODk3ZDUyYzI2ZTNlY2QwNTY0M2I3MmI4NTNmMWFkZTVmZTM3ZDk5YWJiNjA0ZDMxNjhlMTczYjkxZDE4MzQzMWZiZGVh'
}


if __name__ == '__main__':

    resp = requests.post(url,headers=headers,data=data)
    print(resp.json())

此处运行代码可以获取到返回的json数据，我们需要的结果也在json里边，接下来自行取结果就可以了

四、逆向，参数寻找

上边是针对apple这个单词的翻译，那么加入我们需要查询pig这个单词呢，每次修改参数去请求太麻烦了，继续分析：

可以发现当切换不同的单词的时候，请求的参数在跟着改变，将请求的data进行改变，重新访问，访问成功

经过不断变换参数可以发现影响结果的有两个参数，query和sign,其中query是我们输入的单词，sign是一串我们看不懂的数字，因此只要知道了sign这个参数，那么问题就解决了

重新回到浏览器，从上往下寻找参数

在第三个文件中发现目标

设置断点进行debug

鼠标点击1或者2进入到该函数中

五、编写js,本地调用

点击之后进入到如下界面，观察一下这个函数的上下可以发现它是一个闭包函数，可以通过将其改写成python代码实现，也可以将其作为js直接运行，此处使用第二种方式：

将整个函数内部copy出来新建一个js文件baidu.js

function a(r) {
    if (Array.isArray(r)) {
        for (var o = 0, t = Array(r.length); o < r.length; o++)
            t[o] = r[o];
        return t
    }
    return Array.from(r)
}

function n(r, o) {
    for (var t = 0; t < o.length - 2; t += 3) {
        var a = o.charAt(t + 2);
        a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),
            a = "+" === o.charAt(t + 1) ? r >>> a : r << a,
            r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
    }
    return r
}

function e(r) {
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === o) {
        var t = r.length;
        t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
    } else {
        for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)
            "" !== e[C] && f.push.apply(f, a(e[C].split(""))),
            C !== h - 1 && f.push(o[C]);
        var g = f.length;
        g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
    }
    var u = void 0
        , l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
    u = null !== i ? i : (i = window[l] || "") || "";
    for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
        var A = r.charCodeAt(v);
        128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),
            S[c++] = A >> 18 | 240,
            S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224,
            S[c++] = A >> 6 & 63 | 128),
            S[c++] = 63 & A | 128)
    }
    for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
        p += S[b],
            p = n(p, F);
    return p = n(p, D),
        p ^= s,
    0 > p && (p = (2147483647 & p) + 2147483648),
        p %= 1e6,
    p.toString() + "." + (p ^ m)
}

将刚刚的代码进行调整，加载这个js文件

import requests
import execjs

url = r'https://fanyi.baidu.com/v2transapi?from=en&to=zh'

f = open("baidu.js", mode="r", encoding="utf-8")

obj = execjs.compile(f.read())
word = input('word:')
data = {
    'from': 'en',
    'to': 'zh',
    'query': word,
    'transtype': 'realtime',
    'simple_means_flag': 3,
    'sign': obj.call("e", word),
    'token': '57ad27fdfc82112d8227dd87c55f633f',
    'domain': 'common',
}

headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
    'Cookie':'__yjs_duid=1_0494dcb7db96dbf2e7eb8e643fb6ec9e1635902286958; REALTIME_TRANS_SWITCH=1; HISTORY_SWITCH=1; FANYI_WORD_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; BDUSS=pleldUVEk1NGlDUmExNDNJSGYwWFFDcX5SaHhmNUg4OGk5b0l1Wm42UDFIckpoRUFBQUFBJCQAAAAAAAAAAAEAAADXXK1EMzE5Nzc2MTAydwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAPWRimH1kYphR0; BDUSS_BFESS=pleldUVEk1NGlDUmExNDNJSGYwWFFDcX5SaHhmNUg4OGk5b0l1Wm42UDFIckpoRUFBQUFBJCQAAAAAAAAAAAEAAADXXK1EMzE5Nzc2MTAydwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAPWRimH1kYphR0; BAIDUID=CE404BEB4FC3648E0C1F8B039B8EA0AC:FG=1; BIDUPSID=CE404BEB4FC3648E0C1F8B039B8EA0AC; PSTM=1638351819; BAIDUID_BFESS=CE404BEB4FC3648E0C1F8B039B8EA0AC:FG=1; APPGUIDE_10_0_2=1; H_PS_PSSID=35639_34441_35468_35104_31660_35628_35488_34584_35491_35688_35542_35665_35318_26350_35619_35562; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1641048772,1641049491; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1641090825; __yjs_st=2_YjYyODIwODU2MTUyOWZlYTY2MWViYTBhMTZkODczMWQxMzlhYjU1MzlmM2QzM2NiYjE3NGNjOTU0ZDgzNDk3ZGU1M2Y3NTZiNDJjZDViZGJkZWIxMTllYzE1MTBjM2FiOGIzMTI1MDBlZjBmNmY2MGNkNTM1YmEzYTYxZTlmMjBmNDcxMTVkOWNiM2M2ZWViNjRiYzRkYzk4NWE2ZTFiMjI2MTI2MWFjYTJhMTEyMTg5MDk2MDcxZTNhOGRlMDFkYjE3MzRiNmI0OTcxMTAwYmQ4ZGZmY2NjMGMyYTM4NjA0Y2UzNGZhMDRhMDIwYmVkNjljYzhmM2I1NTQ2Nzg0ZV83X2Q1OWE3ZTQ0; ab_sr=1.0.1_ODJhZWI3ZTc5MDRhZjA4OGUzYjM3YjdjMjlhNzM0OWUwYjM5ODBhNGVlNjg0MDY4NjI0NWI0NDZhMGQ4MDRhZDVlYTAzNDZjNzIzNDM4YzY4ZTNmZTRlZmY5MTFmMjU3MzkwYTVlMDQyMjJjODYzZTMzYjVmYjAxMzE2ODk3ZDUyYzI2ZTNlY2QwNTY0M2I3MmI4NTNmMWFkZTVmZTM3ZDk5YWJiNjA0ZDMxNjhlMTczYjkxZDE4MzQzMWZiZGVh'
}


if __name__ == '__main__':

    resp = requests.post(url,headers=headers,data=data)
    print(resp.json())

运行之后会报如下错误：

六、调整js文件

返回刚刚编写的js文件：

发现有个window，在nodejs环境中没有浏览器的window概念，因此需要手工添加一个window,

将上一行的lcopy出来放到浏览器中去运行

这个gtk的值在浏览器中搜索关键字获取

gtk对应的值为'320305.131321201'

在baidu.js文件开头添加：

并修改js代码

修改后的js完整代码：

var window={
    'gtk':'320305.131321201'
};

function a(r) {
    if (Array.isArray(r)) {
        for (var o = 0, t = Array(r.length); o < r.length; o++)
            t[o] = r[o];
        return t
    }
    return Array.from(r)
}

function n(r, o) {
    for (var t = 0; t < o.length - 2; t += 3) {
        var a = o.charAt(t + 2);
        a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),
            a = "+" === o.charAt(t + 1) ? r >>> a : r << a,
            r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
    }
    return r
}

function e(r) {
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === o) {
        var t = r.length;
        t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
    } else {
        for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)
            "" !== e[C] && f.push.apply(f, a(e[C].split(""))),
            C !== h - 1 && f.push(o[C]);
        var g = f.length;
        g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
    }
    var u = void 0;
        // , l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
    u = null !== i ? i : (i = window['gtk'] || "") || "";
    for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
        var A = r.charCodeAt(v);
        128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),
            S[c++] = A >> 18 | 240,
            S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224,
            S[c++] = A >> 6 & 63 | 128),
            S[c++] = 63 & A | 128)
    }
    for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
        p += S[b],
            p = n(p, F);
    return p = n(p, D),
        p ^= s,
    0 > p && (p = (2147483647 & p) + 2147483648),
        p %= 1e6,
    p.toString() + "." + (p ^ m)
}

var i = null;

七、执行py文件获取结果

重新运行py文件，成功获取结果(后续json处理此处省略)

前尘昨夜此刻
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬虫网络请求模块
PANHUI444678的博客
10-19 1086
1. urllib.request模块 python2 ：urllib2、urllib python3 ：把urllib和urllib2合并,urllib.request 1.2 常用方法 。urllib.request.urlopen(“网址”) 作用：向网站发起一个请求并获取响应 。字节流 = response.read() 。字符串 = response.read().decode(‘utf-8’） 。urllib.request.Request("网址“,headers=“字典”) urlopen(
某度翻译sign逆向
qq_44314361的博客
03-19 361
打开谷歌 进入开发者界面 拦截包 找到sign所在的包 进到发包的js里 打下断点 查看右侧的函数调用栈 发现并没有找到，那就搜索跟sign一起发送的数据 比如simple_means_flag 全局搜索simple_means_flag 进去 在这就找到了sign，下断点 跟进去 把这个函数全部扣下来 放到调试工具里 运行后报错 在回浏览器里多运行几次发现，U是定值 ...
某度翻译-逆向参数解析
weixin_43927244的博客
10-28 272
参数逆向分析-某度翻译
某度翻译加密破解
m0_49716676的博客
08-09 568
文章来源于公众号：爬虫逆向与数据分析 访问下某度翻译的网站，然后随便输入要翻译的内容，我这里是输入了这个：（某度输入前先f12一下哦） 然后我们来看下抓到的包，毫无疑问，可以发现这个链接： 另外还可以看到他是个post请求，以及他的请求参数。那从他的post参数入手，我们可以找到这里： 可以看到他的参数是在一个叫index_2958d34.js文件里面的，经过调试，还可以得知一下几个参数是不变的（在中文翻译成英文的情况下，其他情况没深究哈）： ...
HTTP & HTTPS详解
qq_26984087的博客
04-17 1536
HTTP是应用层协议，用于客户端和服务端间的通信，来总结一下HTTP协议的具体内容以及细节。 HTTP协议的请求和响应体解析 首先看一下HTTP请求的一个例子，用whistle抓包，打开"https://baidu.com/",以下是得到的Request请求体： 请求体Request： GET / HTTP/1.1 /** 表示当前是GET请求; / 表示URL路径，URL路径以/开头，后面没...
python爬虫
weixin_46047612的博客
02-02 1792
使用程序模拟浏览器，向服务器发送请求，获取响应信息。
护理敏感质量指标数据采集-.ppt
12-01
护理敏感质量指标数据采集-.ppt
1.1翻译-足底压力数据采集关键参数-Acquisition-techniques-and-fundamental-indi
11-20
"足底压力数据采集关键参数-Acquisition-techniques-and-fundamental-indicators" 通过对Sensor Medica公司的介绍，我们可以看到该公司专门从事足底压力数据采集关键参数的研究、设计和制造，旨在优化人类生物力学...
基于-单片机无线多路数据温度采集系统设计实现论文.doc
11-30
- **程序设计流程**：设计了清晰的程序流程，确保数据采集的准确性和实时性。 - **多点数据采集**：通过编程实现对多个温度传感器的数据并发采集。 7. **调试与结果** - **测试环境与工具**：详细描述了测试的软...
实时数据采集系统设计方案-.doc
11-30
实时数据采集系统设计方案-.doc
PCI-1711数据采集卡及其应用
12-13
前言 在数据采集和处理过程中，有些模拟信号的幅值和频率变化的速度是非常快的，如何将这些高速变化的模拟信号采集到计算机里进行处理便是一个需要解决的实际问题。由于数字数据传输速率等系统瓶颈的影响，使用常规...
python爬虫urllib_get请求，urllib_post请求
qq_62597581的博客
06-16 753
点击Network后点击Fetch/XHR原来是没有的，再把刚开始输入的单词删掉一个字母t后刷新，会发现出来好多包，其中有sug包，复制Request URL地址。1.如果把“易烊千玺”变成unicode字符采用quote，如果好多的话，一个一个调用太麻烦了，用urlencode解决多个参数的问题。我在百度翻译中输入smart，右键检查network中并没有sug包，可能是程序进行了更新，看大家的博客后才找到的。找到v2transapi中的地址和参数，地址在Headers中。
自写爬虫工具——transfer-headers
weixin_44154094的博客
07-23 787
transfer-headers,转换请求头 这两天趁有时间浅学了一下易语言，之前一直用python写工具，但python写启动软件慢，而且编译文件太大， 易语言学的很浅，用中文写很不习惯，== 因为经常做爬虫，经常要把请求头转换到python/代码里，每次做重复工作浪费时间，就自己写了这么个小工具, 有的人会说，转换成、curl,但 比如fiddler不支持，并且有的站转换会出错， 比如说 Accept: */* Accept-Encoding: gzip, deflate, br Accept-La
python利用百度翻译器，爬取需要翻译的关键字
weixin_40228600的博客
07-16 3072
通过F12按键，打开检查网页代码，在抓取包文件sug中，可以看见请求头请求的地址https//fanyi.baidu.com/sug、请求的方式post。以下是python详细的代码的请求，通过搜索关键词查询指定的翻译结果。在百度翻译搜索框中输入关键字，可通过关键字查询相应的搜索结果。请求携带的参数kwj：ava。...
Python爬取百度翻译及有道翻译
moster_zhuhao的博客
05-07 700
Python爬取百度翻译及网易有道翻译 百度翻译 一、简介 明确翻译链接，百度翻译链接：https://fanyi.baidu.com/，但是该链接不能为我们提供翻译的内容，此时需要在chrome浏览器对百度翻译页面中使用F12启动控制台，在页面中输入要翻译的内容，在左侧的控制台会出现name为sug详细信息，可以看到有多个sug，是因为没输入一个字符会出现一个sug，找到要翻译的那个sug即可。点击preview即可看到要翻译的信息。 二、分析： 以上提到sug中就有翻译的链接，点击Headers即
一个简单有趣的爬虫-----爬取百度翻译功能
qq_52090781的博客
09-10 6095
首先确定爬取的网址:https://fanyi.baidu.com/sug 由于百度具有反扒功能所以我们爬取翻译功能时应该伪装我们的头文件即编写headers: base_url = 'https://fanyi.baidu.com/sug' data = {'kw': key} headers = { 'content-length': str(len(data)), 'content-type': 'application/x-www-form-urle
python爬虫的几种数据解析提取方式
xinzhilinger的博客
08-10 637
使用python爬虫，无论是requests库还是urllib库爬取网页源代码后，想要直接获取其中的信息是比较难的，通常要借助一些第三方库来进行解析并信息提取，目前简单快捷的有bs4库、正则表达式和xpath来完成，下面通过一个实例来解释他们具体的使用方式： import requests from bs4 import BeautifulSoup import json import re from lxml import etree from urllib.parse import quote head
Python爬虫---使用百度翻译
最新发布
z099164的博客
10-25 2024
版权申明本文将会通过爬虫的方式实现简单的百度翻译。本文中的代码只供学习，不允许作为于商务作用。商务作用请前往 api.fanyi.baidu.com 购买付费的 api。若有侵犯，立即删文！实现思路在网站文件中找到隐藏的免费 api。传入 api 所需要的参数并对其发出请求。在返回的 json 结果里找到相应的翻译结果。由 js 算法生成的 signcookie 检测token 暗号进入百度翻译，随便输入一段需要翻译的文字。
爬虫中的代理服务器
jerry的博客
02-09 2337
当我们频繁爬取某个网页的时候会被服务器检测到这种异常行为，从而遇到被封ip这种可能，这时候我们就可以使用代理服务器，即使用别人的ip进行爬取 代理的常用功能 突破自身访问限制，访问国外站点 在外访问公司或团体内网 提高访问速度：代理服务器中有一块较大的硬盘缓冲，用来提高访问速度 隐藏真实ip，嘿嘿嘿 代理实例 查询自身ip 第一种方法：百度查询ip – 第二种方法：csdn浏览器插件查询，csdn浏览器插件自带ip查询，非常方便 – 我们以百度查询为例，来进行阐述 保留wd=ip这部分，后
jupyter数据采集-数据分析-可视化综合案例
05-14
在这里，我们演示一个基于Jupyter的数据采集-数据分析-可视化综合案例。 首先，我们需要采集数据。我们可以通过使用Python的requests库来访问网站，并使用BeautifulSoup库提取所需数据。例如，我们可以采集电影评分...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值