requests添加代理以及selenium的使用(淘宝绕过登录爬取数据)

requests添加代理以及selenium的使用(淘宝绕过登录爬取数据)

requests添加代理

获取代理IP(蘑菇代理) — 会返回一个网址

def get_ip():
    response = requests.get('返回的网址')
    if(response.text[0] == '{'):
        print('IP提取频率过快!10秒后再试试吧!')
        return None
    return [ip for ip in response.text.split('\n') if ip != '']
ips = get_ip()
proxies = {
   
    'http':ips[0],
    'https':ips[1]
    }

添加代理

response = requests.get('http://www.gaoimg.com/photo/game/',headers = headers,proxies = proxies)

selenium的使用 - 安装driver

  1. Google浏览器键入chrome://version/,回车查看浏览器版本
  2. 得到版本号后进入http://npm.taobao.org/mirrors/chromedriver下载对应的执行文件并将其放至安装python的文件夹下。
  3. 若没有与版本信息相应的版本的执行文件则下载网页最后的与自己Google版本信息匹配度最高的TXT文件。文件中的版本号就是需要下载的。(Windows只有32位的下载就行)
from selenium.webdriver import Chrome

# 1、创建浏览器对象(若为全局变量,程序结束浏览器不会关闭,局部变量会自动关闭)
driver = Chrome()

# 2、输入网址
driver.get('https://huaban.com/explore/hunsha-1')

运行以上程序若能打开浏览器则安装成功。

selenium的使用

from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
  1. 创建浏览器对象
driver = Chrome()
  1. 打开网页
driver.get('https://www.51job.com')
  1. 获取标签
search = driver.find_element_by_id('kwdselectid')
  1. 输入框中输入内容
search.send_keys('数据分析')
# 按回车进行搜索
search.send_keys(Keys.<
  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专用浏览器主要功能(1.3)贝计划(贝发布助手)的后续产品, 1,复制贝:可复制贝的信息到发布页面,减少重复操作,方便店铺管理。 2,任务汇总:把掌柜所需要处理的事情(发货,评价,橱窗推荐,解释,需要回复的留言等)集中到一个页面,这样可以方便掌柜处理,避免遗漏和页面切换。 3,批量评价:批量做出评价,对于生意好的掌柜很有用,可以节省贵时间。 4,批量解释:批量做出解释,对于生意好的掌柜很有用,可以节省贵时间。 5,橱窗推荐:自动把快要下架的贝放入橱窗进行推荐,用满所有的橱窗位。 6,批量下载:批量下载店铺的贝,可以下载别人店铺的贝,包括属性和图片信息,很容易导入助理,批量上传。如果你想新开个和别人一样的店铺,将大大节省你的时间。 7,自动填充:在进入评价,解释等页面时,自动填充选择项和内容(信息可订制),方便您的操作(此功能支持JavaScript扩展)。 8,快速链接:可以快速链接到的各种功能,支持自定义。 9,定时任务:定时自动上传仓库中的贝,定时橱窗推荐,定时评价,定时解释 10, 批量发货:支持不需要快递方式,和有快递发货。同时可以批量提买家地址 11, 卡密发货:支持卡密类商品的自动发货,如果你还不能享受的自动发货,不妨尝试一下 12, 批量改价:批量修改交易价格 13,批量关闭:批量关闭交易 14,批量删除:批量删除店铺中的贝,速度很快! 15,批量下架:批量下架店铺中的贝,速度很快!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值