screpy框架 中使用 mitmproxy突破网站对selenium的屏蔽 绕过 美团js 检测 实现淘宝登陆

 

一 mitmproxy安装
mitmproxy:就是用于 MITM 的 proxy，MITM 即中间人攻击（Man-in-the-middle attack）。用于中间人攻击的代理首先会向正常的代理一样转发请求，保障服务端与客户端的通信，其次，会适时的查、记录其截获的数据，或篡改数据，引发服务端或客户端特定的行为。

安装方式: linux，mac，windows都一样，pip install  mitmrpoxy

参考教程：https://blog.wolfogre.com/posts/usage-of-mitmproxy/

各位最好按照参考教程过一遍熟悉每个func的定义，基本都能跑通。最后那一步addons是关键，需要给你定义的class运行放进去。

mitmproxy设置：mitmdefine.py：

import mitmproxy.http
 
t0 ='Object.defineProperties(navigator,{webdriver:{get:() => false}});'
t1 = 'window.navigator.chrome = {runtime: {},// etc.};'
t2 = '''
Object.defineProperty(navigator, 'languages', {
      get: () => ['en-US', 'en']
    });
'''
t3 = '''
Object.defineProperty(navigator, 'plugins', {
    get: () => [1, 2, 3, 4, 5,6],
  });
'''
t4 = '''
           Object.defineProperties(navigator,{
             userAgent:{
               get: () => Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36;
             }
           })
'''
 
 
 
 
class Tb(object):
    def response(slef,flow: mitmproxy.http.HTTPFlow):
        if '114.js' in flow.request.url or 'um.js' in flow.request.url:
                flow.response.text = t3 + t2 + t4 + t0 + flow.response.text
                print('注入成功')
addons = [
    Tb()
]
注释：t0是对webdriver navigator的伪装，为false。t2，t3，t4是针对headless进行的伪装，简而言之就是无头跟有头之间的三个明显化差异，想想就知道了，一个是请求头，一个浏览器的设置语言，一个是浏览器插件。

启动命令： 命令段运行

mitmdumps -s   mitmfile.py  or  mitmweb -s   mitmfile.py  '''mtimfile 你的mitm文件名称''' 

启动结果：

二  登陆
只要启动了mitmrpxy伪装，一切selenium都可以实现登陆（原则上是，有一段时间哪怕是有界面的都不行，怀疑是有了新的js检测）

    def __init_browser(self):
        options = Options()
        # service_args = ['--proxy=127.0.0.1:8080','--proxy-type=http','--ignore-ssl-errors=true']
        # DesiredCapabilities.PHANTOMJS[
        #     'phantomjs.page.settings.userAgent'] = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0"
 
        # options.add_argument("--headless")
        # options.add_argument('--disable-gpu')
        options.add_argument('--proxy-server=http://127.0.0.1:8080')
        # options.add_argument(
        #     'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36')
 
        self.browser = webdriver.Chrome(options=options)
        # self.browser = webdriver.PhantomJS(service_args=service_args)
        return self.browser
 
    def __login(self):
        self.browser.get(TB_LOGIN_URL)
        # self.browser.get('http://www.mamicode.com/info-detail-2423225.html')
        page = self.browser.page_source
 
        self.browser.get_screenshot_as_file('2222.png')
 
        WebDriverWait(self.browser, 20).until(
            EC.presence_of_element_located((By.ID, 'TPL_username_1'))
        )
 
        self.browser.find_element_by_xpath('//input[@id="TPL_username_1"]').send_keys(un)
        self.browser.get_screenshot_as_file('4444.png')
        time.sleep(0.5)
        self.browser.find_element_by_xpath('//input[@id="TPL_password_1"]').send_keys(pwd)
        time.sleep(0.5)
        self.browser.get_screenshot_as_file('3333.png')
        time.sleep(10)
        self.__f5__slider()
        if self.__lock_exist():
            print('存在滑块解锁')
            time.sleep(1.5)
            self.__unlock()
 
        self.browser.find_element_by_xpath('//button[@id="J_SubmitStatic"]').click()
这里只贴了两段代码。一段是初始化浏览器的，注释掉的代码包括chromeheadlss的运行以及phantomjs的运行，本文只涉及有头模式下启动，另外一段时login滑块的判断。

三 命令端查看

四 推荐其它几个网站地址
1. selenium的webdirver检测，包括chrome内核特征值的修改

https://stackoverflow.com/questions/33225947/can-a-website-detect-when-you-are-using-selenium-with-chromedriver 

 

2. 针对tm的研究

https://www.kebook.cn/9060/
原文链接：https://blog.csdn.net/Chen_chong__/java/article/details/85526088

https://blog.csdn.net/qq_37437983/article/details/104344850?depth_1-utm_source=distribute.pc_relevant_right.none-task-blog-BlogCommendFromBaidu-2&utm_source=distribute.pc_relevant_right.none-task-blog-BlogCommendFromBaidu-2

https://blog.csdn.net/weixin_41628720/article/details/96872821?depth_1-utm_source=distribute.pc_relevant_right.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevant_right.none-task-blog-BlogCommendFromBaidu-1

https://blog.csdn.net/qq_37437983/article/details/104344850?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-3&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-3