2024年Python最全手把手教你用Python爬取某宝男装信息，文末附完整代码！，面试Python开发自我介绍

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()

def get_one_page():

‘’‘获取单个页面’‘’

browser.get(“https://www.xxxxx.com”)

input = WebDriverWait(browser,10).until(

EC.presence_of_element_located((By.CSS_SELECTOR,“#q”))) #

input.send_keys(“男装”)

button = WebDriverWait(browser,10).until( #等待判断

EC.element_to_be_clickable((By.CSS_SELECTOR,“#J_TSearchForm > div.search-button > button”))) #若按钮可点击, 则获取, 否则等待

button.click() #点击按钮

4. 获取总的页数, 同样加入等待判断.

-- coding: utf-8 --

import re

from selenium import webdriver

from selenium.common.exceptions import TimeoutException

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()

def get_one_page():

‘’‘获取单个页面’‘’

browser.get(“https://www.xxxxx.com”)

input = WebDriverWait(browser, 10).until(

EC.presence_of_element_located((By.CSS_SELECTOR, “#q”)))

input.send_keys(“男装”)

button = WebDriverWait(browser, 10).until(

EC.element_to_be_clickable(

(By.CSS_SELECTOR, “#J_TSearchForm > div.search-button > button”)))

button.click()

pages = WebDriverWait(browser, 10).until( # 等待判断

EC.presence_of_element_located(

(By.CSS_SELECTOR, “#mainsrp-pager > div > div > div > div.total”))) # 若总页数加载成功,则获取总页数,否则等待

return pages.text

def main():

pages = get_one_page()

print(pages)

if name == ‘main’:

main()

5. 打印出来的不是我们想要的结果, 利用正则表达式获取, 最后再利用try…except捕捉异常

-- coding: utf-8 --

import re

from selenium import webdriver

from selenium.common.exceptions import TimeoutException

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()

def get_one_page():

‘’‘获取单个页面’‘’

try:

browser.get(“https://www.xxxxx.com”)

input = WebDriverWait(browser,10).until(

EC.presence_of_element_located((By.CSS_SELECTOR,“#q”)))

input.send_keys(“男装”)

button = WebDriverWait(browser,10).until(

EC.element_to_be_clickable((By.CSS_SELECTOR,“#J_TSearchForm > div.search-button > button”)))

button.click()

pages = WebDriverWait(browser,10).until(

EC.presence_of_element_located((By.CSS_SELECTOR,“#mainsrp-pager > div > div > div > div.total”)))

return pages.text

except TimeoutException:

return get_one_page() #如果超时,继续获取

def main():

pages = get_one_page()

pages = int(re.compile(“(\d+)”).findall(pages)[0]) #采用正则表达式提取文本中的总页数

print(pages)

if name == ‘main’:

main()

获取多个商品界面

---

采用获取"到第 页"输入框方式, 切换到下一页, 同样是等待判断

需要注意的是, 最后要加入判断: 高亮是否是当前页

def get_next_page(page):

try:

input = WebDriverWait(browser, 10).until(

EC.presence_of_element_located((By.CSS_SELECTOR, “#mainsrp-pager > div > div > div > div.form > input”))) # 若输入框加载成功,则获取,否则等待

input.send_keys(page) # 输入页码

button = WebDriverWait(browser, 10).until(

EC.element_to_be_clickable((By.CSS_SELECTOR, “#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit”))) # 若按钮可点击,则获取,否则等待

button.click() # 点击按钮

WebDriverWait(browser,10).until(

EC.text_to_be_present_in_element((By.CSS_SELECTOR,“#mainsrp-pager > div > div > div > ul > li.item.active > span”),str(page))) # 判断高亮是否是当前页

except TimeoutException: # 超时, 继续请求

return get_next_page(page)

def main():

pages = get_one_page()

pages = int(re.compile(“(\d+)”).findall(pages)[0])

for page in range(1,pages+1):

get_next_page(page)

if name == ‘main’:

main()

获取商品信息

---

首先, 判断信息是否加载成功, 紧接着获取源码并初始化, 进而解析.

需要注意的是, 在"get_one_page"和"get_next_page"中调用之后, 才可执行

def get_info():

“”“获取详情”“”

WebDriverWait(browser,20).until(EC.presence_of_element_located((

By.CSS_SELECTOR,“#mainsrp-itemlist .items .item”))) #判断商品信息是否加载成功

text = browser.page_source #获取网页源码

html = pq(text) #初始化网页源码

items = html(‘#mainsrp-itemlist .items .item’).items() #采用items方法会得到生成器

for item in items: #遍历每个节点对象

data = []

image = item.find(“.pic .img”).attr(“data-src”) #用find方法查找子孙节点,用attr方法获取属性名称

price = item.find(“.price”).text().strip().replace(“\n”,“”) #用text方法获取文本,strip()去掉前后字符串,默认是空格

deal = item.find(“.deal-cnt”).text()[:-2]

title = item.find(“.title”).text().strip()

shop = item.find(“.shop”).text().strip()

location = item.find(“.location”).text()

data.append([shop, location, title, price, deal, image])

print(data)

保存到MySQL数据库

---

def save_to_mysql(data):

“”“存储到数据库”“”

创建数据库连接对象

db= pymysql.connect(host = “localhost”,user = “root”,password = “password”,port = 3306, db = “spiders”,charset = “utf8”)

获取游标

cursor = db.cursor()

#创建数据库

cursor.execute(“CREATE TABLE IF NOT EXISTS {0}(shop VARCHAR(20),location VARCHAR(10),title VARCHAR(255),price VARCHAR(20),deal VARCHAR(20), image VARCHAR(255))”.format(“男装”))

#SQL语句

sql = “INSERT INTO {0} values(%s,%s,%s,%s,%s,%s)”.format(“男装”)

try:

#传入参数sql,data

if cursor.execute(sql,data):

#插入数据库

db.commit()

print(“已入库**”)

except:

print(“#########入库失败#########”)

#回滚,相当什么都没做

db.rollback()

#关闭数据库

db.close()

完整代码

---

-- coding: utf-8 --

import re

import pymysql

from selenium import webdriver

from selenium.common.exceptions import TimeoutException

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

from pyquery import PyQuery as pq

browser = webdriver.Chrome()

def get_one_page(name):

‘’‘获取单个页面’‘’

print(“-----------------------------------------------获取第一页-------------------------------------------------------”)

try:

browser.get(“https://www.xxxxx.com”)

input = WebDriverWait(browser,10).until(

EC.presence_of_element_located((By.CSS_SELECTOR,“#q”)))

input.send_keys(name)

button = WebDriverWait(browser,10).until(

EC.element_to_be_clickable((By.CSS_SELECTOR,“#J_TSearchForm > div.search-button > button”)))

button.click()

pages = WebDriverWait(browser,10).until(

EC.presence_of_element_located((By.CSS_SELECTOR,“#mainsrp-pager > div > div > div > div.total”)))

print(“----即将解析第一页信息----”)

get_info(name)

print(“----第一页信息解析完成----”)

return pages.text

except TimeoutException:

return get_one_page(name)

def get_next_page(page,name):

“”“获取下一页”“”

print(“---------------------------------------------------正在获取第{0}页----------------------------------------”.format(page))

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！