今天来试试爬一下某宝,这玩意学会了做外包的话,还是值几个钱的。
环境/模块介绍
python 3.8 使用的环境
pycharm 使用的编辑器
selenium 浏览器驱动的第三方模块
csv 数据保存的模块
time 时间模块, 可以用于程序的延迟
random 随机数模块
下载操作浏览器驱动的第三方模块
对应视频教程:
Python:双十火热进行中,教你带你用Python继续剁手
selenium pip install selenium
解释我基本都写在注释了,我就偷个懒不在写了。
from selenium import webdriver
import time # 时间模块, 可以用于程序的延迟
import random # 随机数模块
from constants import TAO_USERNAME1, TAO_PASSWORD1
import csv # 数据保存的模块
def search_product(keyword):
“”“搜索商品数据, 登录用户”“”
driver.find_element_by_xpath(‘//*[@id=“q”]’).send_keys(keyword)
time.sleep(random.randint(1, 3)) # 尽量避免人机检测 随机延迟
driver.f
def parse_data():
“”“解析商品数据”“”
divs = driver.find_elements_by_xpath(‘//div[@class=“grid g-clearfx”]/div/div’) # 所有的div标签
for div in divs:
try:
info = div.find_element_by_xpath(‘.//div[@class=“row row-2 title”]/a’).text
price = div.find_element_by_xpath(‘.//strong’).text + ‘元’
deal = div.find_element_by_xpath(‘.//div[@class=“deal-cnt”]’).text
name = div.find_element_by_xpath(‘.//div[@class=“shop”]/a/span[2]’).text
location = div.find_element_by_xpath(‘.//div[@class=“location”]’).te’.//div[@class=“pic”]/a’).get_attribute(‘href’)
print(info, price, deal, name, location, detail_url)
保存
with open(‘某宝.csv’, mode=‘a’, encoding=‘utf-8’, newline=‘’) as f:
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python)
开发知识点,真正体系化!**
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python)