Python爬虫学习教程：天猫商品数据爬虫

for second in range(sec):

if(is_alert):

alert = “alert(”" + message + “:” + str(sec - second) + “秒”)"

self.browser.execute_script(alert)

al = self.browser.switch_to.alert

sleep(1)

al.accept()

else:

sleep(1)

#登录淘宝

def login(self):

打开网页

self.browser.get(self.url)

自适应等待，点击密码登录选项

self.browser.implicitly_wait(30) #智能等待，直到网页加载完毕，最长等待时间为30s

self.browser.find_element_by_xpath(‘//*[@class=“forget-pwd J_Quick2Static”]’).click()

自适应等待，点击微博登录宣传

self.browser.implicitly_wait(30)

self.browser.find_element_by_xpath(‘//*[@class=“weibo-login”]’).click()

自适应等待，输入微博账号

self.browser.implicitly_wait(30)

self.browser.find_element_by_name(‘username’).send_keys(weibo_username)

自适应等待，输入微博密码

self.browser.implicitly_wait(30)

self.browser.find_element_by_name(‘password’).send_keys(weibo_password)

自适应等待，点击确认登录按钮

self.browser.implicitly_wait(30)

self.browser.find_element_by_xpath(‘//*[@class=“btn_tip”]/a/span’).click()

直到获取到淘宝会员昵称才能确定是登录成功

taobao_name = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.site-nav-bd > ul.site-nav-bd-l > li#J_SiteNavLogin > div.site-nav-menu-hd > div.site-nav-user > a.site-nav-login-info-nick ')))

输出淘宝昵称

print(taobao_name.text)

获取天猫商品总共的页数

def search_toal_page(self):

等待本页面全部天猫商品数据加载完毕

good_total = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ‘#J_ItemList > div.product > div.product-iWrap’)))

#获取天猫商品总共页数

number_total = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ‘.ui-page > div.ui-page-wrap > b.ui-page-skip > form’)))

page_total = number_total.text.replace(“共”,“”).replace(“页，到第页 确定”,“”).replace(“，”,“”)

return page_total

翻页操作

def next_page(self, page_number):

等待该页面input输入框加载完毕

input = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ‘.ui-page > div.ui-page-wrap > b.ui-page-skip > form > input.ui-page-skipTo’)))

等待该页面的确定按钮加载完毕

submit = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ‘.ui-page > div.ui-page-wrap > b.ui-page-skip > form > button.ui-btn-s’)))

清除里面的数字

input.clear()

重新输入数字

input.send_keys(page_number)

强制延迟1秒，防止被识别成机器人

sleep(1)

点击确定按钮

submit.click()

模拟向下滑动浏览

def swipe_down(self,second):

for i in range(int(second/0.1)):

js = “var q=document.documentElement.scrollTop=” + str(300+200*i)

self.browser.execute_script(js)

sleep(0.1)

js = “var q=document.documentElement.scrollTop=100000”

self.browser.execute_script(js)

sleep(0.2)

爬取天猫商品数据

def crawl_good_data(self):

对天猫商品数据进行爬虫

self.browser.get(“https://list.tmall.com/search_product.htm?q=羽毛球”)

err1 = self.browser.find_element_by_xpath(“//*[@id=‘content’]/div/div[2]”).text

err1 = err1[:5]

if(err1 == “喵~没找到”):

print(“找不到您要的”)

return

try:

self.browser.find_element_by_xpath(“//*[@id=‘J_ComboRec’]/div[1]”)

err2 = self.browser.find_element_by_xpath(“//*[@id=‘J_ComboRec’]/div[1]”).text

#print(err2)

err2 = err2[:5]

if(err2 == “我们还为您”):

print(“您要查询的商品书目太少了”)

return

except:

print(“可以爬取这些信息”)

获取天猫商品总共的页数

page_total = self.search_toal_page()

print(“总共页数” + page_total)

遍历所有页数

for page in range(2,int(page_total)):

等待该页面全部商品数据加载完毕

good_total = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ‘#J_ItemList > div.product > div.product-iWrap’)))

等待该页面input输入框加载完毕

input = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ‘.ui-page > div.ui-page-wrap > b.ui-page-skip > form > input.ui-page-skipTo’)))

获取当前页

now_page = input.get_attribute(‘value’)

print(“当前页数” + now_page + “,总共页数” + page_total)

获取本页面源代码

html = self.browser.page_source

pq模块解析网页源代码

doc = pq(html)

存储天猫商品数据

good_items = doc(‘#J_ItemList .product’).items()

遍历该页的所有商品

for item in good_items:

good_title = item.find(‘.productTitle’).text().replace(‘\n’,“”).replace(‘\r’,“”)

good_status = item.find(‘.productStatus’).text().replace(" “,”“).replace(“笔”,”“).replace(‘\n’,”“).replace(‘\r’,”")

good_price = item.find(‘.productPrice’).text().replace(“¥”, “”).replace(" ", “”).replace(‘\n’, “”).replace(‘\r’, “”)

good_url = item.find(‘.productImg’).attr(‘href’)

print(good_title + " " + good_status + " " + good_price + " " + good_url + ‘\n’)

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！