python 爬取中国木材价格指数网

远方的飞猪

已于 2023-07-30 14:28:46 修改

阅读量773

点赞数

分类专栏：爬虫 Python 文章标签： python

于 2020-09-19 00:52:42 首次发布

本文链接：https://blog.csdn.net/tanjunchen/article/details/108675832

版权

使用Python进行网络爬虫，获取中国木材价格指数网的数据，详细代码可在GitHub的SpiderProject仓库master/yuzhuprice分支查看。

摘要由CSDN通过智能技术生成

python 爬取中国木材价格指数网

完整代码：https://github.com/tanjunchen/SpiderProject/tree/master/yuzhuprice

#!/usr/bin/env python
# -*- coding: utf-8 -*-

from datetime import datetime
from concurrent.futures.thread import ThreadPoolExecutor
from multiprocessing import Pool, Manager
import requests
from fake_useragent import UserAgent
from lxml import etree
import pandas as pd

ua = UserAgent()


def error_func(x):
    print(x)
    print('进程退出')


def spider(task_queue, data_queue):
    base_url = 'http://www.yuzhuprice.com/CTIExponent.jspx?'
    while True:
        task = task_queue.get()
        if task == 'exit':
            task_queue.put(task)
            return
        for number in range(1, 99):
            data = {
                'page.curPage': str