1.常用的库
import re
import time
import random
import requests
import urllib.request
from bs4 import BeautifulSoup
2.读取网页
page = urllib2.urlopen(url)
#获取了整个网页的string
contents = page.read()
print(contents)
3.读取方法
1)标签-快速定位
#接上面代码
soup = BeatifulSoup(contents,"html.parser")
#或者换成,看你需要什么标签读取
#soup.find_all('span',class_='xxxx')
for tag in soup.find_all('div',class_='info'):
#获取其中的span的具体string值
string_1 = tag.find('span',class='title').get.text()
2)随意内容-速度慢
#获取今日天气,后面的具体数字
suffix = " 今日天气温度: "
TEMP1 = re.compile(fr'{re.escape(suffix)}\s*(\d+)').search(page)
TEMP = TEMP1.group(1)
print(TEMP)
5.睡眠重启
常用time.sleep(60)
# 因为不知道网站的机制,所以最好是等待2分钟以上在进行操作
time.sleep(random.randint(120, 150))
6.网络连接失败自动延时重启
def main():
myfuc()
try:
myfuc()
except:
#等待60秒
time.sleep(60)
main()
return 0
7.使用非本机Ip访问
#找个代li网站
def parseIPList(url="xxxxxxxxx"):
IPs = []
request = urllib.request.Request(url, headers=firefoxHead)
response = urllib.request.urlopen(request)
soup = BeautifulSoup(response, "lxml")
#一般都是td表格,然后从表格中
tds = soup.find_all("td")
for td in tds:
string = str(td.string)
if re.search(IPRegular, string):
IPs.append(string)
return IPs
#使用Ip进行访问
s = requests.Session()
s.headers = firefoxHead
#IP ,上面获取的ip列表
s.proxies = {"http", "{}:8080".format(random.choice(IPs))}
r = s.get("https://xxxxxx你的网址")
html = r.text
#html 就是你获取的html网页的全部内容