Python教程4 常用读取网页代码

最新推荐文章于 2024-03-30 08:55:46 发布

Deveuper

最新推荐文章于 2024-03-30 08:55:46 发布

阅读量216

点赞数 1

分类专栏： Python开发系列文章标签： python 开发语言前端

本文链接：https://blog.csdn.net/qq_21153225/article/details/136882865

版权

Python开发系列专栏收录该内容

5 篇文章 0 订阅

订阅专栏

1.常用的库

import re
import time
import random
import requests
import urllib.request
from bs4 import BeautifulSoup

2.读取网页

page = urllib2.urlopen(url)
#获取了整个网页的string
contents = page.read()

print(contents)

3.读取方法

1）标签-快速定位

#接上面代码
soup = BeatifulSoup(contents,"html.parser")

#或者换成,看你需要什么标签读取
#soup.find_all('span',class_='xxxx')
for tag in soup.find_all('div',class_='info'):
    
    #获取其中的span的具体string值
    string_1 = tag.find('span',class='title').get.text()

2）随意内容-速度慢

#获取今日天气，后面的具体数字

suffix = " 今日天气温度： "

TEMP1 = re.compile(fr'{re.escape(suffix)}\s*(\d+)').search(page)

TEMP = TEMP1.group(1)

print(TEMP)

5.睡眠重启

常用time.sleep(60)

# 因为不知道网站的机制，所以最好是等待2分钟以上在进行操作
time.sleep(random.randint(120, 150))

6.网络连接失败自动延时重启

def main():
    myfuc()
    try:
        myfuc()
    except:
        #等待60秒
        time.sleep(60)
        main()
    return 0

7.使用非本机Ip访问

#找个代li网站
def parseIPList(url="xxxxxxxxx"):
    IPs = []
    request = urllib.request.Request(url, headers=firefoxHead)
    response = urllib.request.urlopen(request)

    soup = BeautifulSoup(response, "lxml")

    #一般都是td表格，然后从表格中
    tds = soup.find_all("td")

    for td in tds:
        string = str(td.string)
        if re.search(IPRegular, string):

            IPs.append(string)

    return IPs

#使用Ip进行访问


s = requests.Session()

s.headers = firefoxHead

#IP ，上面获取的ip列表

s.proxies = {"http", "{}:8080".format(random.choice(IPs))}

r = s.get("https://xxxxxx你的网址")

html = r.text
#html 就是你获取的html网页的全部内容