python 无头模式 绕过检测_python爬虫反反爬虫有绝技,轻松绕开百度人机验证!...

你可能已经了解到了无头浏览器的作用以及使用的方法,那么本篇文章就让我们一起用无头浏览器做点事情。

是的你没有看错,我们要“搞”的对象就是百度指数这个网站,不知道你平时是否会应用到这里面的数据呢?

今天的主要目标就是使用无头浏览器登录百度指数网站,并且绕开它的人机验证,不知道你发现没有,当我们人为正常登录这个网站的时候就不会出现字母、数字或者汉字验证码,而使用无头浏览器登录的时候就会出现这些验证码,闲言少叙我们直接开始正题。

一 正常人为登录为什么不出现验证码?

我们在使用浏览器正常登录百度指数网站的时候发现一般不会弹出验证码的提示。但是如果你使用无头浏览器去登录的时候就会出现验证码,那么这两者登录的区别在哪里呢?

经过我不断的验证发现了两个问题,当我们使用无头浏览器登录的时候做一些类似于人类的操作,例如在窗口中滑动鼠标,或者改变窗口的大小,这样百度指数网站就会认为你是人为的在操作。

第二个问题就是在我们使用无头浏览器输入账号和密码的时候,我们在手动输入密码的时候或多或少的在输入字符之间都会存在时间间隔,而使用无头浏览器的时候程序会零间隔的输入,这样百度指数网站就会认为你是一个程序在输入了。

二 python无头浏览器准备

from selenium import webdriver

from selenium.webdriver.common.action_chains import ActionChains

import time

import sys

word = sys.argv[1]

phone = '此处是你登录百度指数网站的用户名'

password = '此处是你登录百度指数网站的密码'

在上面的代码中我们引入了一些python的库,接下来就是使用无头浏览器前的准备工作。

#打开chrome无头浏览器

opt = webdriver.ChromeOptions()

opt.set_headless()

driver = webdriver.Chrome(options=opt)

executor_url = driver.command_executor._url

session_id = driver.session_id

#将打开的浏览区url和session_id存储起来,提供给下一次应用

file = open('browserMsg.txt','w')

file.writelines([executor_url, '

',session_id])

file.close()

driver.implicitly_wait(20)

driver.set_window_size(1000, 800)

driver.get("https://index.baidu.com/v2/main/index.html#/trend/"+ word +"?words="+ word)

在上面的代码中我们使用webdriver的内置函数初始化了无头浏览器,你可能发现我使用了executor_url和session_id变量存储了点东西,没错,我将此次打开的浏览器信息(url和sessionId)存储在了一个txt文件中,这样下次我再使用百度指数的时候只需要使用python连接上这个被存储信息的无头浏览器进程,那么就可以节省掉重复登录所带来的风险了,并且还能节省进程数目(此处如果你不需要的话,无需关注)。

接下来我们隐式等待了20秒,并且将无头浏览器的窗口设置为了宽1000高800(你可以改变数值),最后我们打开了百度指数的网站,并且链接中带有我们想要查询的词。

三 进军

time.sleep(1)

driver.set_window_size(1200, 800)

time.sleep(1)

driver.set_window_size(1000, 800)

time.sleep(2)

上面代码的作用是先将无头浏览器窗口的宽变为1200,然后再变为1000,为了使得此处的操作更像人为操作,我加了一些延时效果,接下来就是输入密码的环节了。

getUserPhoneDom = driver.find_element_by_id('TANGRAM__PSP_4__userName')

getUserPassDom = driver.find_element_by_id('TANGRAM__PSP_4__password')

for i in phone:

getUserPhoneDom.send_keys(i)

time.sleep(.4)

for j in password:

getUserPassDom.send_keys(j)

time.sleep(.4)

在上面的代码中我先使用了getUserPhoneDom 变量存储了需要输入用户名的输入框信息,使用getUserPassDom 变量存储了需要输入密码的输入框信息,然后使用for循环读取我们在上面定义的phone和password变量的字符信息,并且每个字符输入间隔了400毫秒,这样做百度指数就认为你是人为的在输入了。

time.sleep(1)

action=ActionChains(driver)

loginDom = driver.find_element_by_id('TANGRAM__PSP_4__submit')

action.move_to_element(loginDom).click().perform()

当我们输入完成用户名和密码以后我们只需要找到登录按钮的DOM然后进行点击事件就OK了,到这里你就可以成功的绕开百度指数的人机验证了。

四 总结

绕开某一个网站的人机验证,重点在于让机器觉着你是人,而不是它的同类,但是机器觉着你是不是机器的重点在于设计这个机器的人所设置的一些检验手段。

对于百度指数来说它的主要检验手段在于你打开浏览器时的操作,以及输入用户名和密码时的操作,我写这篇文章的时间是2018年11月18日,在这个节点之前呢,我使用上面的方式绕开百度指数的人机验证没有问题,以后有没有问题,或者说有了问题如何解决还是要开发你的大脑了。

本文的最后我附上我全部的代码你可以复制下来,并且安装好对应的python包,以及无头浏览器的环境体验一下。

from selenium import webdriver

from selenium.webdriver.common.action_chains import ActionChains

import time

import sys

word = sys.argv[1]

phone = '18846927659'

password = 'chitianshi...'

#登录百度指数网站

def login(word, phone, password):

#打开chrome无头浏览器

opt = webdriver.ChromeOptions()

opt.set_headless()

driver = webdriver.Chrome(options=opt)

executor_url = driver.command_executor._url

session_id = driver.session_id

#将打开的浏览区url和session_id存储起来,提供给下一次应用

file = open('browserMsg.txt','w')

file.writelines([executor_url, '

',session_id])

file.close()

driver.implicitly_wait(20)

driver.set_window_size(1000, 800)

driver.get("https://index.baidu.com/v2/main/index.html#/trend/"+ word +"?words="+ word)

#当你打开无头浏览器时,你需要操作一下浏览器,可以移动浏览器位置,放大或缩小浏览器,否则网站会判定你是爬虫

#在此,我先等待了1秒,然后放大浏览器,然后缩小浏览器,然后等待2秒

time.sleep(1)

driver.set_window_size(1200, 800)

time.sleep(1)

driver.set_window_size(1000, 800)

time.sleep(2)

#等待2秒以后输入用户名和密码

#先获取用户名和密码的输入框

getUserPhoneDom = driver.find_element_by_id('TANGRAM__PSP_4__userName')

getUserPassDom = driver.find_element_by_id('TANGRAM__PSP_4__password')

#输入用户名和密码的时候不能够一下将用户名全部输入,否则网站会判定你是爬虫,就会让你输入短信验证码

#此处我按照字符输入,并且每个字符输入时,间隔400毫秒

for i in phone:

getUserPhoneDom.send_keys(i)

time.sleep(.4)

#密码的输入同用户名的输入是一个道理

for j in password:

getUserPassDom.send_keys(j)

time.sleep(.4)

#输入完用户名和密码以后间隔1秒再点击登录按钮

time.sleep(1)

#点击登录按钮

action=ActionChains(driver)

loginDom = driver.find_element_by_id('TANGRAM__PSP_4__submit')

action.move_to_element(loginDom).click().perform()

#网站在登录的时候会偶尔出现验证码,此处是为了判断是否出现验证码,如果出现就重新执行函数

time.sleep(2)

try:

errorData = driver.find_element_by_id('TANGRAM__PSP_4__error').text

if errorData == "请您输入验证码":

login(word, phone, password)

except:

pass

login(word, phone, password)

#此处是为了让打开的浏览器进行一直运行不关闭,以便于后面使用

root = Tk()

root.withdraw()

root.mainloop()

  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Python爬虫是一种非常强大的工具,它可以被用于多种目的,其中包括爬取视频信息和文件。如果需要爬取视频_index.m3u8_ts.rar文件,以下是一些步骤和技巧: 1. 确定爬取目标:首先需要确定要爬取的视频_index.m3u8_ts.rar文件的URL地址,可以在浏览器中打开开发者工具(如Chrome的“开发者工具”),在“网络”选项卡下查找请求的URL地址。 2. 使用Python爬虫Python爬虫的主要模块包括requests、BeautifulSoup等,可以使用它们来获取请求的URL地址,并将响应的数据解析为所需的文件。 3. 使用正则表达式:视频的_index.m3u8_ts.rar文件通常是一个较大的文件,其中包含多个链接URL地址。可以使用Python中的正则表达式来提取所需的文件链接,并将它们存储为一个列表。 4. 下载文件:获取文件链接后,可以使用Python的requests模块下载视频_index.m3u8_ts.rar文件到本地。 5. 文件处理:下载完成后,可以使用Python中的常用文件处理工具(如os、shutil等)进行文件重命名、移动或其他操作。 总的来说,Python爬虫是一种非常灵活和高效的工具,可以大大简化获取和处理视频_index.m3u8_ts.rar文件的过程。但是需要注意的是,爬取文件时需要遵守相关法律法规和网站协议,以免触犯法律或侵犯他人利益。 ### 回答2: 要使用Python爬虫爬取视频_index.m3u8_ts.rar文件,需要以下几个步骤: 1. 确认网站和视频资源的URL:首先需要确认想要爬取的视频文件所在的网站和URL链接。可以使用Python中的requests库发起HTTP请求获取网址的HTML源代码,并从中解析出视频链接的URL。 2. 根据视频链接的URL获取文件:获取视频链接的URL之后,需要使用Python中的requests库再次发起HTTP请求,获取视频文件的二进制数据。一般情况下,在请求中需要设置请求头部信息和一些参数,以便获得正确的内容。 3. 下载和解压文件:在获取到视频文件数据之后,需要将其保存为本地的视频文件。视频文件有可能是一个压缩包,如.rar或.zip文件,因此还需要使用Python中的解压缩库来进行解压操作。 4. 根据视频文件生成m3u8文件:在解压出视频文件的内容之后,需要使用Python编写脚本解析视频文件,并生成相应的m3u8文件。m3u8是一种视频资源格式,包含了可以分片下载的视频资源地址列表,可以使用播放器播放m3u8视频资源。 以上是爬取视频_index.m3u8_ts.rar的一般流程,具体实现方法会因网站和视频资源的不同而有所差异,需要针对具体情况进行调整。同时,爬取视频资源时需要尊重版权,遵守相关法律法规并遵守网站的规定,不进行盗版、侵权、篡改等行为。 ### 回答3: 首先,需要了解m3u8文件的基本概念。m3u8是指一种基于HTTP Live Streaming (HLS)协议的音视频播放列表格式,它是由苹果公司首先提出的。m3u8文件中包含了多个ts文件的链接地址,ts文件中则包含了音视频数据。因此,如果成功获取了m3u8文件并解析出其中的ts文件链接地址,就可以成功抓取指定的音视频数据了。 那么如何使用Python实现这个任务呢?以下是一些基本的步骤: 1. 网络请求:使用requests库或urllib库向网站发送请求,获取网站源代码。 ``` python import requests url = "http://example.com/video_index.m3u8" response = requests.get(url) html = response.text ``` 2. 正则表达式匹配:从网站源代码中提取.m3u8和ts文件链接地址。 ``` python import re pattern = "(http://.*?\.m3u8)" m3u8_url = re.findall(pattern, html)[0] pattern = "(http://.*?\.ts)" ts_urls = re.findall(pattern, html) ``` 3. 下载.m3u8文件:使用requests库下载.m3u8文件。 ``` python m3u8_response = requests.get(m3u8_url) m3u8_text = m3u8_response.text ``` 4. 提取.ts文件链接:从.m3u8文件中提取所有.ts文件的链接。 ``` python ts_urls = [] for line in m3u8_text.split("\n"): if line.endswith(".ts"): ts_url = line if not ts_url.startswith("http"): ts_url = m3u8_url.rsplit("/", 1)[0] + "/" + ts_url ts_urls.append(ts_url) ``` 5. 下载.ts文件:使用多线程或异步IO方式同时下载多个.ts文件。 ``` python import threading import urllib.request def download_ts(ts_url, output_path): urllib.request.urlretrieve(ts_url, output_path) threads = [] for i, ts_url in enumerate(ts_urls): thread = threading.Thread(target=download_ts, args=(ts_url, f"video_{i}.ts")) threads.append(thread) thread.start() for thread in threads: thread.join() ``` 6. 合并.ts文件:使用ffmpeg或moviepy库将多个.ts文件合并为一个完整的视频文件。 至此,我们便成功用Python实现了视频的抓取和合并。需要注意的是,具体实现可能会根据不同的网站有所变化,这里只是提供一个基本的思路。此外,网络爬虫本身是一项敏感而受限的技术,建议在遵守法律和道德规范的前提下使用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值