【爬虫实战】使用Python爬取站长之家上的公司介绍数据

FLK_9090

已于 2024-03-25 11:30:27 修改

阅读量1.4k

点赞数 18

分类专栏：爬虫文章标签： python 爬虫开发语言

于 2024-03-15 10:58:51 首次发布

本文链接：https://blog.csdn.net/FLK_9090/article/details/136733377

版权

爬虫专栏收录该内容

18 篇文章 9 订阅

订阅专栏

本文详细指导如何使用Python编写爬虫，从站长之家抓取公司介绍数据，通过requests和BeautifulSoup库处理HTML，实现并发爬取并最终保存到Excel表格，便于数据分析。

摘要由CSDN通过智能技术生成

一、背景介绍

在互联网时代，了解各个公司的情况对于行业分析、竞争对手研究以及投资决策都非常重要。而站长之家作为国内知名的IT门户网站，提供了大量的公司介绍信息。本文将介绍如何使用Python编写爬虫程序，从站长之家上爬取公司介绍数据，并保存到Excel表格中，以便后续分析使用。

二、环境准备

在开始之前，我们需要准备好Python的环境。确保已经安装了Python 3.x，并安装了以下依赖库：

requests
bs4（BeautifulSoup）
tqdm
concurrent.futures
random
urllib3 你可以使用pip命令进行安装，例如：pip install requests

三、代码实现

下面是完整的爬取站长之家公司介绍数据的Python代码：

#!/usr/bin/env python3
# coding:utf-8
import re
import requests
import bag
from bs4 import BeautifulSoup
from tqdm import tqdm
from concurrent.futures import ProcessPoolExecutor
import random
import urllib3
urllib3.disable_warnings()
data_urls = []
result = []

def main():
    base_url = r'https://top.chinaz.com/gongsi/index_shizhi.html'
    page_urls = get_num_page(base_url)

    process_pool = ProcessPoolExecutor(max_workers=10)
    for link in tqdm(page_urls, desc='获取数据链接'):
        headers = {
            'User-Agent': ''
        }
        user_agent_list = [
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/61.0",
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
            "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
            "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15"
        ]
        headers['User-Agent'] = random.choice(user_agent_list)
        pool = process_pool.submit(get_data_url, link, headers)
        pool.add_done_callback(parser)
    process_pool.shutdown(wait=True)

    links = []
    for i in data_urls:
        for j in i:
            links.append(j)

    process_pool1 = ProcessPoolExecutor(max_workers=10)
    for url in tqdm(links, desc='获取数据'):
        headers = {
            'User-Agent': ''
        }
        user_agent_list = [
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/61.0",
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
            "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
            "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15"
        ]
        headers['User-Agent'] = random.choice(user_agent_list)
        pool1 = process_pool1.submit(get_data, url, headers)
        pool1.add_done_callback(parser1)
    process_pool1.shutdown(wait=True)
    bag.Bag.save_excel(result, r'./公司介绍.xlsx')

def parser(res):
    try:
        data_urls.append(res.result())
    except:
        pass

def parser1(res):
    try:
        result.append(res.result())
    except:
        pass

def get_data(url, headers):
    res = []
    resp = requests.get(url, headers=headers)
    resp.encoding = 'utf8'
    resp.close()

    html = BeautifulSoup(resp.text, 'lxml')
    full_name = re.compile(r'<h1>(.*?)</h1>', re.S)
    soup = html.find_all('div', class_='CoConyRight')
    for T in soup:
        if T['title'] == '':
            res.append('None')
        else:
            res.append(T['title'])
    for t in re.findall(full_name, str(soup)):
        if t == '':
            res.append('None')
        else:
            res.append(t)

    soup1 = html.find_all('div', class_='CoConyText')
    for label in soup1:
        if label.span.a.text == '':
            res.append('None')
        else:
            res.append(label.span.a.text)

    soup2 = html.find_all('div', id='rom_des')
    for content in soup2:
        if content.text == '':
            res.append('None')
        else:
            res.append(content.text)

    res.append(url)
    return res

def get_data_url(url, headers):
    links = []
    resp = requests.get(url, headers=headers)
    resp.encoding = 'utf8'
    resp.close()

    html = BeautifulSoup(resp.text, 'lxml')
    soup = html.find_all('div', class_='CoListTxt')
    for link in soup:
        links.append('https://top.chinaz.com'+link.a['href'])
    return links

def get_num_page(url):
    page_url = []
    for num in range(1):
        if num < 1:
            page_url.append(url)
        else:
            page_url.append('https://top.chinaz.com/gongsi/index_shizhi_{}.html'.format(num+1))
    return page_url

if __name__ == '__main__':
    main()

四、代码解析

导入所需的模块和库，包括re、requests、BeautifulSoup等
设置全局变量data_urls和result，分别用于保存数据链接和爬取结果
定义main()函数作为程序的入口，实现整个爬取过程的控制流程
在main()函数中，首先获取需要爬取的页面链接列表page_urls
创建ProcessPoolExecutor进程池，设置最大工作线程数为10
遍历page_urls，使用get_data_url()函数从每个页面中获取公司详情页的链接
将获取的链接保存到data_urls中，并通过parser()函数处理异常。
将所有公司详情页的链接提取到links列表中
遍历links，使用get_data()函数爬取每个公司的介绍数据
将爬取结果保存到result中，并通过parser1()函数处理异常
关闭进程池，并调用Bag.save_excel()函数将结果保存到Excel表格中
定义parser()和parser1()函数，用于处理进程的返回值，并将返回值添加到data_urls和result中
定义get_data()函数，用于爬取公司介绍数据
在get_data()函数中，发送HTTP请求，解析HTML文档，提取所需的公司介绍数据，并返回结果
定义get_data_url()函数，用于从页面中获取公司详情页的链接
在get_data_url()函数中，发送HTTP请求，解析HTML文档，提取公司详情页的链接，并返回结果
定义get_num_page()函数，用于生成需要爬取的页面链接列表
在__name__ == '__main__'的条件下，调用main()函数开始执行程序。