全球速卖通数据爬取

已于 2024-08-15 20:39:00 修改
阅读量328 收藏 1
点赞数 14
文章标签： python 爬虫
于 2024-08-15 20:38:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_59498985/article/details/141230848
版权

仅作练习，侵权联系删除

取cookie

使用自动化工具打开浏览器，手动登录账号获取cookie，只有登录账号，才会出现下面这个界面

没账号的可使用代码中的cookie，control.py文件中有，但是使用这个cookie，在爬取的过程中会遇到反爬滑块验证码，就没办法跳过了，只能等待一段时间，时间可能很长，也可能很短

取cookie的代码

from DrissionPage import ChromiumPage

def get_ck():
    page = ChromiumPage()
    page.get("https://www.aliexpress.us/w/wholesale-men's-bottoms.html?g=y&SearchText=men%27s+bottoms")
    time.sleep(10)
    cookies = page.cookies()
    # print('cookies', cookies)
    cookies = ', '.join([f"\'{cookie['name']}\':\'{cookie['value']}\'" for cookie in cookies])
    cookies = json.dumps(cookies)
    # 使用正则表达式提取键值对
    pattern = re.compile(r"'([^']+)':'([^']+)'")
    matches = pattern.findall(cookies)
    # 转换为字典
    cookies = {key: value for key, value in matches}
    print('cookies', cookies)
    return cookies

 代码

文件位置，目录名随便取，文件名不要修改

control.py文件

import json
import random
import re
import time
import requests
from ui import Win
from DrissionPage import WebPage
# 导入 ChromiumOptions
from DrissionPage import ChromiumPage, ChromiumOptions


class Controller:
    ui: Win
    attempt_count: int

    def __init__(self):
        self.attempt_count = 0
        self.ui = None

    def init(self, ui):
        """
        得到UI实例，对组件进行初始化配置
        """
        self.ui = ui

    def set_helper(self, helper):
        self.helper = helper

    def sousuo(self, evt):
        keyword_list = self.ui.zairu(evt)  # 调用 WinGUI 的 zairu 方法获取 key 和 page
        results = []
        for key, page in keyword_list:
            sort_type = self.ui.sort_var.get()  # 获取当前选中的排序方式
            if sort_type == "Price":
                sort_type = "price_asc"  # 设置价格排序方式为 price_asc
            json_data = {
                'pageVersion': 'ff8ad60b0a0d1fbfc9e484ea303a7f44',
                'target': 'root',
                'data': {
                    'page': page,
                    'g': 'y',
                    'SearchText': key,
                    'origin': 'y',
                    'sortType': sort_type,
                },
                'eventName': 'onChange',
                'dependency': [],
            }

            # 如果 sort_type 为空字符串，删除 'sortType' 键
            if not sort_type:
                del json_data['data']['sortType']
            results.append((key, page, sort_type))
        return results

    def get_ck(self):
        page = ChromiumPage()
        page.get("https://www.aliexpress.us/w/wholesale-men's-bottoms.html?g=y&SearchText=men%27s+bottoms")
        time.sleep(10)
        cookies = page.cookies()
        # print('cookies', cookies)
        cookies = ', '.join([f"\'{cookie['name']}\':\'{cookie['value']}\'" for cookie in cookies])
        cookies = json.dumps(cookies)
        # 使用正则表达式提取键值对
        pattern = re.compile(r"'([^']+)':'([^']+)'")
        matches = pattern.findall(cookies)
        # 转换为字典
        cookies = {key: value for key, value in matches}
        # print('cookies', cookies)
        return cookies

    def spider(self, key, page, sort_type):
        max_retries = 4
        cookies = {
            'x_router_us_f': 'x_alimid=4461714644',
            'aep_common_f': 'zcGjNzurUgUi6yYlXR+iec/vnzNtLs2USBbQKY5+GsBQjbleT4aaDA==',
            'sgcookie': 'E100JOobqgkZzOW8GXWNSSW5jkJy3iVicMmlZrz9AbD/LQqBYemNS2jkMDkxQQA350fsZkFs43srs1RABga5/TomSikGZg8DJ4CMLq3HO0ytm4Y=',
            '_ga_save': 'yes',
            'xman_f': '07OW3BVrp1ynLf27WfaJGW/AJbwIB0AvOY1gRBG1fmvTEav1rLYIeINciLdvHMJ9EjL+CbZ8bFabo52hXFG8ykzYjt8S7gYcuHgvqJyWT1wOMuSAD9/PXWiPg8iap7RuyLVa33hQNkndGAtxhtGz3gvCirQyNoMn2FRhf3+lBvzb7KiG7/NPty1gki/B+BcxuBak9/HoMq6jUgcGI3XxxX2b6mY5kO6SN6ztbFJ3txwSG5CWzPzyF46AXsLWTpun+U+sbfMEH1eAYfnNZWXW0NvPKkJS/zJBJtfsREud5iEBEbZl3GakXnsQzVZmhQQDQ5iIefNXK3fIi3yrZuknZdllAtd+o/YU7IlsrWjGteDBYjbubOBtAesuJDI6TJx+BdcWlleJARfdYTKkbxUSvDNLolZoPJCD',
            'intl_locale': 'en_US',
            'xman_us_f': 'zero_order=y&x_locale=en_US&x_l=1&x_user=US|%E8%B6%85%E7%BE%A4|%E5%B0%81|ifm|4461714644&x_lid=us2852395651hyoae&x_c_chg=1&x_c_synced=1&acs_rt=ab8ebed08c364f1489437cb9e388c9cc',
            'lwrid': 'AgGQTugqkVRERwJSKOU1X39uI%2BYr',
            'join_status': '',
            'cna': 'pYcBH6Vjk0QCAXs2Jk+PVL1k',
            '_m_h5_tk': '0272d0a0e09655e625834ef0b14e477b_1719313187897',
            '_m_h5_tk_enc': 'eed5f98d9e82c9051b527ab47afff52b',
            'xlly_s': '1',
            'aep_usuc_f': 'site=usa&c_tp=USD&x_alimid=4461714644&isb=y&region=CN&b_locale=en_US&ae_u_p_s=2',
            '_gcl_au': '1.1.539085097.1719310761',
            '__rtbh.uid': '%7B%22eventType%22%3A%22uid%22%2C%22id%22%3A%224461714644%22%7D',
            '__rtbh.lid': '%7B%22eventType%22%3A%22lid%22%2C%22id%22%3A%22KwFEhAA8v4C0dV4ALCAj%22%7D',
            '_gid': 'GA1.2.975831037.1719310763',
            'AB_DATA_TRACK': '472051_617385',
            'AB_ALG': '',
            'AB_STG': 'st_StrategyExp_1694492533501%23stg_687',
            'acs_usuc_t': 'x_csrf=1dkarwk2f6idi&acs_rt=bf1a0eea9160434ea34f03335f9fe3b6',
            'xman_t': 'mbXMVSuL3dwW2iFYa9jRIEH9u8a/n/rcAnR4cZwZA0QvqEAJanb2rHQWyR2Roc9H',
            '_ga': 'GA1.1.953021961.1719309733',
            'cto_bundle': 'fGeoxF81QVhUeSUyQjhRNVVYd1NLalpMMjFvQ29iSGhLRmNYNWVoJTJCTm5sSDVjc2tySFVVRyUyQnZ2U2l5MDBOTXVWVnRvRU5DTmFVNXhsRnpWR2lvaXQlMkZMM0dzenNHWUc2THlwRE9XVm93U05UJTJCOEUxUnNGelRyU0JhWHhidm5jRFJDdSUyQkt0MDlkJTJCWTF1ZzhpTGpmUSUyRjRLVEFDcWlRJTNEJTNE',
            '_ga_VED1YSGNC7': 'GS1.1.1719310762.1.1.1719311333.60.0.0',
            'intl_common_forever': 'be0FkNSRlWq6nlPZ3SfmPswlkTGYcN7ox65ux2ySf3t9A/5Pxvy+ZQ==',
            'tfstk': 'fvPZvSsjL1CNTGemYDGq4xe7z1ctabIWoSijor4m5cmM1Ct0LoZ35ROjGxA4orHDCcGMmkzujcGfWcGVuuieXca1W--UoD7xfmib0SzmAoOb5oTTpuak156tGIltMjj5V_1WWPhxizltf2K9tqu5GdviIXHseQI5V_1QA9lzTgwXhaoZ8qnnSqAiIwknP43mix0g-wumlhvDso4h8qnnoV0mIXYnPqmDnb88foxmXAboPQFCPOWkK0ziYQzL9VXxb_npi5NmWAPW6DdmRWuZQ04g6NivX2VQTYMBlMG3yJZi8b5w2Vy3zf04Mavq0xPtTDrPZI3LIlPn3W_AayhZuYcmLEA08XmmUWhlZHuLKPw06l82iVF_Nxo-LZAxhXVSE8qwkaUnsqqxeSsJ6c40y7eSa1--7J4rTgSWD2bo1SewmKkiJ2o58wY4qKzrY-mIsKpxLYuEVaXwHKHiJ2o58wJvHvAq80_lQ',
            'isg': 'BMjIoCp2OpEYJ1YVq8y8af_ymTbacSx7EEbJtYJ_nsFtXWrHKIPyCREb1TUt6-RT',
            'epssw': '4*mmSgRmk9GPqPCODma5nHju00mmmjeFwNZ6gPjoi0PNCwIN5wr0Z6kQ0oa5xnWowGrn_emDDREUYtLpFzz1BmmK3RD4n4KNpndGZeb3pL-WYfYkdaLAgYiW27dGsmkVZRd5Q2Cmc_xnid9_5YM8hmkbwiLgiDFmD4PDV1FmFr7niDUb-jugrni8WmmKrra3NW8g1um0vOLPPmd8N0KYOlSmJMgg9DUTw1BqY6DkPe5JwXlJ26Sy7RKeOvGvbz0ZD85N2FYNsf_wKtn-oI2gtCzKoDDj0SFDObMK-_em..',
        }
        headers = {
            'accept': '*/*',
            'accept-language': 'zh-CN,zh;q=0.9',
            'bx-v': '2.5.11',
            'content-type': 'application/json;charset=UTF-8',
            'origin': 'https://www.aliexpress.us',
            'priority': 'u=1, i',
            # =============referer修改
            'referer': "https://www.aliexpress.us/w/wholesale-men's-bottoms.html?g=y&SearchText=men%27s+bottoms",
            'sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Google Chrome";v="126"',
            'sec-ch-ua-mobile': '?0',
            'sec-ch-ua-platform': '"Windows"',
            'sec-fetch-dest': 'empty',
            'sec-fetch-mode': 'cors',
            'sec-fetch-site': 'same-origin',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36',
        }

        for i in range(1, int(page) + 1):
            json_data = {
                'pageVersion': 'ff8ad60b0a0d1fbfc9e484ea303a7f44',
                'target': 'root',
                'data': {
                    'page': i,
                    'g': 'y',
                    'SearchText': str(key),
                    'origin': 'y',
                    'sortType': sort_type,
                },
                'eventName': 'onChange',
                'dependency': [],
            }
            a = 0
            for attempt in range(max_retries):
                try:
                    response = requests.post('https://www.aliexpress.us/fn/search-pc/index', json=json_data,
                                             headers=headers,
                                             cookies=cookies, timeout=10)

                    try:
                        data = response.json()['data']
                        if 'result' not in data or 'mods' not in data['result'] or 'itemList' not in data['result'][
                            'mods']:
                            raise ValueError("响应数据结构不符合预期")
                        content_list = response.json()['data']['result']['mods']['itemList']['content']
                    except (json.decoder.JSONDecodeError, ValueError) as err:
                        #有反爬，重新取cookie可绕过
                        print(f"{key}的线程正在重新获取cookie")
                        cookies = self.get_ck()
                        a = a + 1
                        print(a)
                        if a > 3:
                            break
                        else:
                            continue  # 继续下一次重试
                    for idx, content in enumerate(content_list, start=1):
                        title = content['title']['seoTitle']
                        x_object_id = content['trace']['utLogMap']['x_object_id']
                        store_url = 'https://www.aliexpress.us/item/' + str(x_object_id) + '.html'
                        price_str = content['prices']['salePrice']['formattedPrice']
                        price = price_str[3:]
                        self.ui.insert_data_to_table(title, price, store_url, key)
                    print(f"正在爬取{key}的第{i}页")
                    break
                except requests.exceptions.RequestException as req_err:
                    print(req_err)
                    # print(proxy)
                    print(f"请求异常，正在重试")
                    continue
                except Exception as e:
                    print(f"其他异常: {e}")
                    break  # 其他异常，结束爬取
        self.ui.update_status(f"{key}已爬取完毕")
        print(f"{key}已爬取完毕")

    def daochu(self, evt):
        print("<Button-1>事件未处理:", evt)

    def qingkong(self, evt):
        self.ui.clear_all()

    def tianjia(self, evt):
        self.ui.add_keyword()

 main.py文件

# 导入布局文件
import re
import threading
from ui import Win as MainWin
# 导入窗口控制器
from control import Controller as MainUIController
import tkinter as tk
import time
import requests
from openpyxl import Workbook, load_workbook
import random
from ui import WinGUI
from DrissionPage import ChromiumPage, ChromiumOptions

class ScrapeThread(threading.Thread):
    def __init__(self, controller, key, page, sort_type, counter, lock):
        super().__init__()
        self.controller = controller
        self.key = key
        self.page = page
        self.sort_type = sort_type
        self.counter = counter
        self.lock = lock

    def run(self):
        try:
            self.controller.spider(self.key, self.page, self.sort_type)
        finally:
            with self.lock:
                self.counter[0] -= 1
                if self.counter[0] == 0:
                    self.controller.ui.update_status("已爬取完毕")


def on_button_click(event):
    # 创建并启动新线程来处理爬虫任务
    threading.Thread(target=start_scraping, args=(event,)).start()
    # WinGUI.update_status("已爬取完毕",'kdajfkl')


def start_scraping(event):
    keyword_list = controller.sousuo(event)
    thread_counter = [len(keyword_list)]
    lock = threading.Lock()
    for key, page, sort_type in keyword_list:
        # 为每个关键字创建一个新线程
        thread = ScrapeThread(controller, key, page, sort_type, thread_counter, lock)
        thread.start()


if __name__ == "__main__":
    page = ChromiumPage()
    page.get("https://www.aliexpress.us/w/wholesale-men's-bottoms.html?g=y&SearchText=men%27s+bottoms")
    # time.sleep(10)
    # gui = WinGUI()  # 创建 WinGUI 实例
    controller = MainUIController()
    app = MainWin(controller)
    app.set_controller(controller)  # 设置控制器
    controller.init(app)
    app.tk_button_search.bind('<Button-1>', on_button_click)
    app.mainloop()

ui.py文件

绘制gui界面

from tkinter import *
from tkinter import filedialog
from tkinter.ttk import *
import openpyxl
from xlwt import Workbook
from openpyxl import Workbook, load_workbook


class WinGUI(Tk):

    def __init__(self):
        super().__init__()
        self.controller = None  # 控制器属性初始化为 None
        # 设置默认排序方式
        self.sort_var = StringVar()
        self.sort_var.set("total_tranpro_desc")  # 设置默认选项为Orders
        # 初始化界面组件
        self.__init_ui_components()
        # 设置主窗口属性
        self.__win()

    def __win(self):
        self.title("速卖通数据抓取")
        width = 889
        height = 506
        screenwidth = self.winfo_screenwidth()
        screenheight = self.winfo_screenheight()
        geometry = '%dx%d+%d+%d' % (width, height, (screenwidth - width) / 2, (screenheight - height) / 2)
        self.geometry(geometry)
        self.resizable(width=False, height=False)

    def __init_ui_components(self):

        # 创建所有的界面组件
        self.tk_table_数据展示 = self.__tk_table_数据展示(self)
        self.tk_input_key = self.__tk_input_key(self)
        self.tk_button_search = self.__tk_button_search(self)
        self.tk_text_zhuangtai = self.__tk_text_zhuangtai(self)
        self.tk_label_关键字标签 = self.__tk_label_关键字标签(self)
        self.tk_label_状态 = self.__tk_label_状态(self)
        self.tk_input_page = self.__tk_input_page(self)
        self.tk_label_页面数标签 = self.__tk_label_页面数标签(self)
        self.tk_label_优先级标签 = self.__tk_label_优先级标签(self)
        self.tk_radio_button_BestMatch, self.tk_radio_button_Orders, self.tk_radio_button_Price = self.__tk_radio_button_BestMatch(self)
        self.tk_button_导出文件 = self.__tk_button_导出文件(self)
        self.tk_button_清空 = self.__tk_button_清空(self)
        self.tk_text_导出文件的状态 = self.__tk_text_导出文件的状态(self)
        self.tk_button_导入文件 = self.__tk_button_导入文件(self)

        self.tk_button_tianjia = self.__tk_button_tianjia(self)
        self.tk_table_关键词列表 = self.__tk_table_关键词列表(self)
        self.current_row = 1  # 初始行数

        # 清空表格和状态文本框
        self.clear_table()
        self.clear_status()




    # 清空表格
    def clear_table(self):
        self.tk_table_数据展示.delete(*self.tk_table_数据展示.get_children())
        self.current_row = 1  # 重置行数

    # 清空关键词列表
    def clear_table1(self):
        self.tk_table_关键词列表.delete(*self.tk_table_关键词列表.get_children())
        self.current_row = 1  # 重置行数

    # 清空状态文本框
    def clear_status(self):
        self.tk_text_zhuangtai.delete(1.0, END)

    def clear_input_key(self):
        # 清空关键字输入框
        self.tk_input_key.delete(0, END)

    def clear_input_page(self):
        # 清空页面数输入框
        self.tk_input_page.delete(0, END)

    def clear_export_status(self):
        # 清空导出文件状态文本框
        self.tk_text_导出文件的状态.delete(1.0, END)

    # 添加清空方法
    def clear_all(self):
        self.clear_table()
        self.clear_status()
        self.clear_input_key()
        self.clear_input_page()
        self.clear_export_status()
        self.clear_table1()

    # 添加控制器
    def set_controller(self, controller):
        self.controller = controller




    def __tk_radio_button_BestMatch(self, parent):
        rb_best_match = Radiobutton(parent, text="Orders", variable=self.sort_var, value="total_tranpro_desc")
        rb_best_match.place(x=396, y=361, width=98, height=30)

        rb_orders = Radiobutton(parent, text="Best Match", variable=self.sort_var, value="total_tranpro_desc_desc")
        rb_orders.place(x=396, y=406, width=98, height=30)

        rb_price = Radiobutton(parent, text="Price", variable=self.sort_var, value="price_asc")
        rb_price.place(x=397, y=450, width=96, height=30)

        return rb_best_match, rb_orders, rb_price

    def __tk_table_关键词列表(self, parent):
        columns = {"ID": 55, "关键词": 180, "页数":70}
        tk_table = Treeview(parent, show="headings", columns=list(columns))
        for text, width in columns.items():
            tk_table.heading(text, text=text, anchor='center')
            tk_table.column(text, anchor='center', width=width, stretch=False)
        tk_table.place(x=50, y=400, width=310, height=100)
        return tk_table


    def __tk_table_数据展示(self, parent):
        columns = {"ID": 70, "标题": 150, "价格": 70, "链接": 450,"关键词":107}
        tk_table = Treeview(parent, show="headings", columns=list(columns))
        for text, width in columns.items():
            tk_table.heading(text, text=text, anchor='center')
            tk_table.column(text, anchor='center', width=width, stretch=False)
        tk_table.place(x=20, y=70, width=850, height=226)
        return tk_table

    def __tk_input_key(self, parent):
        ipt = Entry(parent)
        ipt.place(x=125, y=360, width=119, height=30)
        return ipt

    def __tk_text_zhuangtai(self, parent):
        text = Text(parent)
        text.place(x=606, y=361, width=155, height=31)
        text.tag_configure("center", justify='center')  # 创建一个居中的标签
        text.insert("1.0", "Your centered text here", "center")  # 插入居中文本，1.0 表示插入位置
        return text

    def __tk_label_关键字标签(self, parent):
        label = Label(parent, text="关键字", anchor="center")
        label.place(x=156, y=326, width=50, height=30)
        return label

    def __tk_label_状态(self, parent):
        label = Label(parent, text="状态", anchor="center")
        label.place(x=663, y=327, width=50, height=30)
        return label

    def __tk_input_page(self, parent):
        ipt = Entry(parent)
        ipt.place(x=267, y=360, width=90, height=30)
        return ipt

    def __tk_label_页面数标签(self, parent):
        label = Label(parent, text="页面数(1-60)", anchor="center")
        label.place(x=267, y=326, width=100, height=30)
        return label

    def __tk_label_优先级标签(self, parent):
        label = Label(parent, text="优先级", anchor="center")
        label.place(x=421, y=326, width=50, height=30)
        return label

    def __tk_button_导出文件(self, parent):
        btn = Button(parent, text="导出文件", takefocus=False)
        btn.place(x=650, y=416, width=71, height=30)
        return btn

    def __tk_button_导入文件(self, parent):
        btn = Button(parent, text="导入文件", takefocus=False)
        btn.place(x=50, y=360, width=71, height=30)
        return btn

    def __tk_button_tianjia(self, parent):
        btn = Button(parent, text="添加", takefocus=False)
        btn.place(x=527, y=361, width=50, height=30)
        return btn

    def __tk_button_search(self, parent):
        btn = Button(parent, text="搜索", takefocus=False)
        btn.place(x=527, y=407, width=50, height=30)
        return btn

    def __tk_button_清空(self, parent):
        btn = Button(parent, text="清空", takefocus=False)
        btn.place(x=527, y=457, width=50, height=30)
        return btn


    def __tk_text_导出文件的状态(self, parent):
        text = Text(parent)
        text.place(x=606, y=451, width=155, height=30)
        return text

    def insert_data_to_table(self, title, price, store_url,key):
        id = self.current_row
        self.tk_table_数据展示.insert('', 'end', values=[id, title, price, store_url,key])
        self.current_row += 1


    def update_status(self, status_text):
        self.tk_text_zhuangtai.delete(1.0, END)  # 清空现有文本
        self.tk_text_zhuangtai.insert(END, status_text)  # 插入新的状态文本

    def export_to_excel(self, event):
        file_path = filedialog.asksaveasfilename(
            defaultextension=".xlsm",
            filetypes=[
                ("Excel Macro-Enabled Workbook", "*.xlsm"),
                ("Excel Workbook", "*.xlsx")
            ]
        )
        if file_path:
            try:
                wb = Workbook()
                ws = wb.active
                ws.title = "数据导出"  # 设置工作表名称

                # 写入表头
                ws.append(["ID", "标题", "价格", "链接","关键字"])

                # 写入表格数据
                for i, item in enumerate(self.tk_table_数据展示.get_children(), start=1):
                    values = self.tk_table_数据展示.item(item, "values")
                    ws.append([i, values[1], values[2], values[3],values[4]])

                wb.save(file_path)
                self.tk_text_导出文件的状态.delete(1.0, END)
                self.tk_text_导出文件的状态.insert(END, "导出成功")
            except Exception as e:
                self.tk_text_导出文件的状态.delete(1.0, END)
                self.tk_text_导出文件的状态.insert(END, f"导出失败：{str(e)}")
        else:
            self.tk_text_导出文件的状态.delete(1.0, END)
            self.tk_text_导出文件的状态.insert(END, "未选择文件路径")

    def daoru(self,event):
        file_path = filedialog.askopenfilename(filetypes=[("Excel files", "*.xlsx *.xlsm")])
        if file_path:
            try:
                wb = load_workbook(filename=file_path)
                sheet = wb.active
                self.clear_table1()
                for row in sheet.iter_rows(min_row=2, values_only=True):
                    keyword, page = row
                    self.tk_table_关键词列表.insert('', 'end', values=(self.current_row, keyword, page))
                    self.current_row += 1
                self.tk_text_导出文件的状态.insert(END, "文件导入成功！\n")
            except Exception as e:
                self.tk_text_导出文件的状态.insert(END, f"文件导入失败：{e}\n")


class Win(WinGUI):
    def __init__(self, controller):
        super().__init__()
        self.set_controller(controller)  # 设置控制器
        self.__event_bind()
        self.__style_config()

    def __event_bind(self):
        # 绑定事件到控制器方法
        self.tk_button_search.bind('<Button-1>', lambda event: self.controller.sousuo(event))
        self.tk_button_导出文件.bind('<Button-1>', self.export_to_excel)
        self.tk_button_导入文件.bind('<Button-1>', self.daoru)
        self.tk_button_清空.bind('<Button-1>', lambda event: self.controller.qingkong(event))
        self.tk_button_tianjia.bind('<Button-1>', lambda event: self.controller.tianjia(event))

    def __style_config(self):
        pass


    def add_keyword(self):
        key = self.tk_input_key.get()
        page = self.tk_input_page.get()
        if key and page:
            self.tk_table_关键词列表.insert("", "end", values=(self.current_row, key, page))
            self.current_row += 1  # 自增行数
            self.clear_input_key()
            self.clear_input_page()

    def update_status_1(self, status_text):
        self.tk_text_dengluzhuangtai.delete(1.0, END)  # 清空现有文本
        self.tk_text_dengluzhuangtai.insert(END, status_text)  # 插入新的状态文本

    def zairu(self,event):
        # 读出表格数据
        keyword_list=[]
        for i, item in enumerate(self.tk_table_关键词列表.get_children(), start=0):
            values = self.tk_table_关键词列表.item(item, "values")
            key = values[1]
            page = values[2]
            keyword_list.append((key, page))
            # print(keyword_list)
        return keyword_list



if __name__ == "__main__":
    # Example usage:
    class Controller:
        def __init__(self):
            pass

        def sousuo(self, event):
            print("Sousuo event triggered")

        def daochu(self, event):
            print("Daochu event triggered")

        def qingkong(self, event):
            print("Qingkong event triggered")

    controller = Controller()
    app = Win(controller)
    app.mainloop()

 项目展示

导入文件，点击搜索

导入的是execl表格，表格内容如下

成功搜索后的页面

导出文件，导出的文件execl也是表格，因为多线程，表格有点乱，可以手动筛选排序

Guard757
关注
  • 14
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Python获取国际版淘宝AliExpress的商品信息
CorGi_8456的博客
03-01 1326
AliExpress全球速卖通，又称国际版淘宝，是一款面向海外的购物网站。 之前有获取过Amazon的信息，偶然间发现了这个网站，所以今天看看这个国际版淘宝上面有没有我想要的东西。 不知道这上面能不能买到原价的XboxSerisX 网站分析 为了找到上面有没有原价的Xbox，首先在首页，搜一下PS5 ，再查看一下请求： 嗯，很直白的get请求，所有的参数链接上都写得清清楚楚。下面尝试一下翻页。 点击下一...
AliExpress全球速卖通商品数据集
10-15
AliExpress全球速卖通商品数据集是从AE爬取的商品二级类目361个，每个类目平均1200条，同时包括商品标题，商品图片，商品一级类目，商品二级类目。
草根学爬虫：根据商品ID获取速卖通商品详情数据接口|速卖通商品详情数据接口|速卖通API接口
weixin_19970108018的博客
11-16 128
根据商品ID获取速卖通商品详情数据接口的主要用途是获取速卖通商品的详细信息，包括商品的标题、价格、库存、销量、评价等信息，以便用户更好地了解该商品，从而做出购买决策。需要注意的是，具体的接口调用方式和参数细节可能因速卖通开放平台的不同而有所差异，建议参考速卖通开放平台的文档或支持页面以获取更详细的信息和示例代码。根据商品ID获取速卖通商品详情数据接口可以使用速卖通开放平台提供的商品详情接口。具体的接口调用方式和参数细节可以参考速卖通开放平台的文档或支持页面，以获取更详细的信息和示例代码。
51job（前程无忧官网）1万条招聘信息的爬取
golden_knife的博客
07-01 7288
以51job网上爬取的一万条电商类招聘信息为样本，具体分析该行业的就业前景、工作地点、平均薪资和任职要求等 本文主要通过词云图和可视化图表对数据进行展示描述 1.先上样本信息图（由于太多，只截了一部分） 第一张图包括了职位名称、公司名称、工作地点、薪资、发布时间（公司的发布时间，我爬的时候是2020.6.24号）和详情页的url链接；第二张图中就是链接网页的具体内容，描述了该岗位的工作信息和任职要求 。 以下数据可视化全部基于上述爬取的样本信息。 2.词云图展示 （1）工作岗位 通过对职位名称图的观
速卖通商品链接获取速卖通商品详情数据（用 Python实现速卖通商品信息抓取）
weixin_19970108018的博客
10-10 347
在网页抓取方面，可以使用 Python、Java 等编程语言编写程序，通过模拟 HTTP 请求，获取速卖通网站上的商品页面。值得注意的是，速卖通网站的页面结构会不断更新，因此需要定期更新程序，以保证数据的准确性。根据需要，调用相应的商品接口，如批量查询商品详情、批量查询商品分类等。在调用接口时，需要将访问令牌和其他相关参数传入接口请求中。速卖通平台上的商品信息会不断更新，因此需要定期更新程序，以保证数据的准确性。解析接口返回的数据：速卖通接口返回的数据通常为JSON格式，需要对其进行解析并提取所需字段。
速卖通获得aliexpress商品详情 API（按关键词搜索商品列表）
Panda_win的博客
04-29 339
​速卖通的商品详情API接口为商家提供了强大的数据支持，帮助他们更好地了解商品信息，优化商品展示和营销策略，提升用户体验和业务效率。随着电商行业的不断发展，API接口的使用将变得更加广泛和深入，成为电商创新的重要驱动力 ​
分布式京东全站爬取分析
weixin_30482181的博客
01-23 556
1、主要思路 　　获取京东所有商品列表：https://www.jd.com/allSort.aspx，大概有分类1190条 　　 　　连接格式为：https://list.jd.com/list.html?cat=xxx 　　页面如下： 　　 　　此页面可以从该页面直接获取商品价格、商品标题、商品URL、商品ID、商品品牌、商品店铺地址、商品型号，所以在获取此页面时直接解...
python中description_Python爬虫之公司网站首页Title、Keywords、Description
weixin_39992788的博客
12-10 548
工作上涉及公司网站SEO优化相关的工作，但是在Title、Keywords、Description这块有点不清楚。于是，参考了一些与自己公司业务上有相同的公司网站内容，在进行词语分析选取一些关键词，在结合本公司的业务内容关键词进行综合，完成了网站SEO优化的Keywords。爬虫工程师废话也不多说了，关于爬虫相关使用的教程在前面以及介绍了，而且还有栗子，这里主要贴上相关代码。除了爬取数据之外，本程...
当直播电商用上 AI 实时翻译，歪果仁也能听懂李佳琦
数据森麟
11-08 425
公众号后台回复“图书“，了解更多号主新书内容作者：神经小兮来源：HyperAI超神经By 超神经内容提要：今年的「双 11」，似乎比往年来得更早一些。而每年剁手党们狂欢的背后，离不开...
生产线课职业规划
AthlenaA的博客
05-21 4195
职业规划 技术人员需要以五年为一个技术周期，每个技术周期上都要上升一个技术层级，否则随时可能会被淘汰掉，各层级建议和要求如下： • 应届生 - 扎实的技术基础，有技术热情。应届生技术人员我建议进入BAT这样的大型互联网公司，虽然辛苦点，但是工作几年后，技术能力和视野会大于很多工作10年的技术人员。 注意点：系统化的学习技术，研究技术而不是使用技术。 • 工作5年 - 在技术上做到知其然知其所以然，...
速卖通商品信息爬取1
08-08
速卖通商品信息爬取1 随着电子商务的快速发展，爬虫技术在网页数据采集和处理方面发挥着越来越重要的作用。速卖通商品信息爬取1是爬虫技术的一种应用，旨在从速卖通网站上爬取商品信息并将其保存到Excel表格中。 ...
抓取速卖通商品信息完整源码
06-14
速卖通是阿里巴巴集团旗下的全球B2C电商平台，其商品页面包含大量丰富的信息，如商品标题、价格、销量、评价等。这些信息通常以HTML或JavaScript动态加载的形式存在。为了抓取这些信息，我们通常会用到Python中的...
数据-2012-2018年全球速卖通跨境买家总数.rar
09-11
标题 "数据-2012-2018年全球速卖通跨境买家总数.rar" 暗示了我们关注的是一个关于全球速卖通（Alibaba Global Market，简称AliExpress）在过去几年间，尤其是从2012年到2018年，其跨境买家数量变化的数据集合。...
速卖通数据分析助手V1.8版(2014.4.9).rar
02-28
《速卖通数据分析助手V1.8版：深入洞察跨境电商市场》 速卖通数据分析助手V1.8版是一款专为跨境电商平台——速卖通（Alibaba Global）商家设计的数据分析工具，它于2014年4月9日发布。这款软件的核心目标是帮助卖家...
Python 算法交易实验80 QTV200日常推进-目标估算
yukai08008的博客
08-10 491
业务目标在先，月利3%是第一个目标。虽然日常有在常规推进，但目标是什么？现在做的是什么？与目标的关联是什么？业务上讲，如果月利能够达到3%(几何平均)，上下波动不超过1%，就算达标了(2%~4%)。考虑到金融领域有不可测风险，所以资金还会分摊到3个月。例如，假如总投资资金是30万，那么每个月的最大投资金额是10万。这样即使遇到大跳水，问题也不大。目标达到的话，10万本金每月的盈利是3000， 按复利计,24个月就会double，我觉得已经足够理想。假设投资90万，则可以按30万计算复利效果。
汽车免拆诊断案例 | DAF（达富）汽油尾气处理液故障警示
虹科Pico汽车示波器的博客
08-14 589
一辆DAF（达富）故障警示灯亮，提示DEF系统故障，使用虹科Pico汽车示波器检查发现故障的原因是......
C++_基本语法笔记_模板
最新发布
qq_45629864的博客
08-14 302
思想是Java里的泛型（不确定用什么类型的数据）这里template这一句，意思是声明T是泛型，后面写用到泛型T的函数。建议都用应用场景：不同数据类型的交换函数。
Falsk测试与部署（第九阶段）
蜡笔小新星的博客
08-09 693
在本章节中，我们学习了如何使用unittest和pytest进行单元和集成测试，以及如何配置Flask应用，使用WSGI服务器部署，容器化Flask应用并将其部署到各种云服务平台。通过这些步骤，你可以确保你的Flask应用在生产环境中的稳定性和可靠性。希望这些知识能够帮助你在实际项目中更好地实现测试和部署。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值