爬虫
灯下夜无眠
这个作者很懒,什么都没留下…
展开
-
selenium学习
本次文章作为一次selenium的复习,主要为selenium的基础操作,练习网址为百度。 # 导入模块包 from selenium import webdriver # 启动浏览器 driver = webdriver.Chrome(executable_path='chromedriver.exe') # 发送请求,selenium只有get,没有post请求 driver.get('http://www.baidu.com') # 最大化窗口 driver.maximize_window()原创 2021-05-15 09:31:36 · 257 阅读 · 0 评论 -
Xpath爬取豆瓣音乐250
本次爬虫只是为了简单回顾一下request和xpath的用法,便于以后回顾。 # 导入所需的库 import requests from lxml import etree import time # 获取url urls = ["https://music.douban.com/top250?start={}".format(str(i)) for i in range(0, 250, 25)] # 伪装请求头 headers = {'user-agent':'Mozilla/5.0'} # 构造空列表原创 2020-12-27 11:54:15 · 211 阅读 · 2 评论 -
爬虫--selenium爬取淘宝商品数据
# 导入包 from selenium import webdriver # 连接驱动器,这里用的是谷歌,版本必须对应 driver = webdriver.Chrome(executable_path='chromedriver.exe') # 发送请求,selenium只有get请求 driver.get('https://www.taobao.com') # 获取搜索框,输入关键字,并自动点击搜索 in_put = driver.find_element_by_id('q') in_put.se原创 2020-12-24 19:32:10 · 537 阅读 · 4 评论