利用python爬取分享网站链接_python解析 app分享的h5链接-CSDN博客

本文链接：https://blog.csdn.net/qq_43645782/article/details/107515264

本文介绍了一种使用Python编程语言和相关库（如requests、BeautifulSoup和csv）来自动化抓取分享网站上的链接的方法。通过编写脚本，可以登录到特定网站并批量提取用户分享的链接，同时将数据保存为CSV文件，便于进一步的数据分析和管理。

摘要由CSDN通过智能技术生成

利用python爬取分享网站链接

前言
代码

前言

发现在网上分享的链接需要一个一个提取很麻烦，所以写了一个脚本

代码

#! /usr/bin/env python
# _*_  coding:utf-8 _*_
from requests import session
from bs4 import BeautifulSoup
import csv
import codecs
import re
import time
import json

def login(email,passwd,isproxies):
    url="https://xxx.com/auth/login"
    data={
   'email':email,'passwd':passwd}
    proxies = {
   
        "http": "http://127.0.0.1:8090",
        "https": "http://127.0.0.1:8090",
    }
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
    }
    if isproxies:
        r=sess.post(url,data,headers=headers,proxies=proxies,verify=False)
    else:
        r = sess.post(url, data, headers=headers, verify=False)
def pa(isproxies):
    url="https://xxx.com/user/node"
    proxies = {
   
        "http": "http://127.0.0.1:8090",
        "https": "http://127.0.0.1:8090",
    }
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
    }
    if isproxies:
        r=sess.get(url,headers=headers,proxies=proxies,verify=False)
    else: