爬虫项目2 - 淘宝商品信息爬取

步骤

1. 首先找到淘宝登陆界面：
   https://login.taobao.com/member/login.jhtml
   
2. 使用selenium + beautiful进行模拟登陆+数据爬取，可以稍微延长等待时间：

from selenium import webdriver
import time
import random
from bs4 import BeautifulSoup
import csv
import re

#初始
def main():
    tb = webdriver.Chrome()
    tb.maximize_window()

    tb.get("https://login.taobao.com/member/login.jhtml")
    time.sleep(random.choice([1,2]))

    tb.find_element_by_name("fm-login-id").send_keys("账号名")
    time.sleep(random.choice([1,2]))
    tb.find_element_by_name("fm-login-password").send_keys("密码")
    time.sleep(random.choice([5,6,7,8]))

    tb.find_element_by_xpath("//*[@id='login-form']/div[4]/button").click() # 点击button
    time.sleep(random.choice([2,3,5]))
    page_num = 10  # 定义爬取10页

    for i in range(1,page_num+1):
        url = "https://s.taobao.com/search?q={}&s={}".format('口红'