python - 网站信息获取_requests用法

import requests,re,time,math
import os
from io import BytesIO
from PIL import Image


#收集第一步Html
all_bigimg_html = []
real_url_html = []

#进入后收集大图地址
new_big_img = []



# 得到页面url
def get_pageurl(root, start, counts):

	all_page = [];

	#需要获取页面1
	if start <= 1:

		#强制设置start 防止错误
		start = 1;

		# 第1页面是没有_%d的 所以需要写死 index.html
		# 自动转换路径
		fragment_root = root.split('/')
		fragment_root[-1] = 'index.html'
		fixed_root = '/'.join(fragment_root)
		
		all_page.append(fixed_root)

		#循环放入其他链接
		for i in range (start+1, start + counts):

			newURL = root.replace("%d", str(i));
			all_page.append(newURL);

	#不需要获取页面1
	else:
		for i in range (start, start + counts):

			newURL = root.replace("%d", str(i));
			all_page.append(newURL);

	return all_page;

# 通过得到页面 得到大图的链接
def get_html(all_page):

	index = 1;
	part_url = [];
	all_url = [];

	for pageurl
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值