西山小菜鸟之Scrapy学习笔记---爬取企查查网站公司基本信息

最新推荐文章于 2024-03-15 10:58:51 发布
最新推荐文章于 2024-03-15 10:58:51 发布
阅读量4.5k 收藏 14
点赞数 2
分类专栏： Scrapy爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xue605826153/article/details/83933449
版权

前言

本文主要采取cookie登录的方式爬取企查查网站的公司的基本信息，后期会继续发布关于爬取企查查网站上的公司的裁判文书信息。链接为：企查查  本文中若存在不详细的地方欢迎各位大神网友提问，若有错误的地方，希望大家指正。谢谢！! ? ?

粗略分析

1.进入企查查网站首页，在输入框输入某公司的全名（现在用名或曾用名），点击搜索可以查询结果列表页。如下图所示：
在这里插入图片描述
同时可以看到查询时的网页链接为https://www.qichacha.com/search?key=“公司名”。若给出公司全名，刚列表页中第一个即为我们要爬取的公司。写程序时可直接用xpath提取第一项的链接。
2.点击进入要爬取的公司可以看到该公司的具体信息。点击“基本信息”项，可以看到网页的链接变为https://www.qichacha.com/firm_此处为一串数字.html#base。可提取信息如下：在这里插入图片描述

程序分析

1.items

class QichachaItem(scrapy.Item):
    name = scrapy.Field()
    phone = scrapy.Field()
    website = scrapy.Field()
    email = scrapy.Field()
    address = scrapy.Field()
    registered_capital = scrapy.Field()       #注册资本
    contributed_capital = scrapy.Field()      #实缴资本
    status = scrapy.Field()                   #经营状态
    establishment = scrapy.Field()            #成立日期
    social_code = scrapy.Field()              #统一社会信用代码
    taxpayer_num = scrapy.Field()             #纳税人识别号
    registrate_num = scrapy.Field()           #注册号
    organization_code = scrapy.Field()        #组织机构代码
    company_type = scrapy.Field()             #公司类型
    industry_involed = scrapy.Field()         #所属行业
    approval_date = scrapy.Field()            #核准日期
    registration_authority = scrapy.Field()   #登记机关
    area = scrapy.Field()                     #所属地区
    english_name = scrapy.Field()             #英文名
    used_name = scrapy.Field()                #曾用名
    insured_num = scrapy.Field()              #参保人数
    staff_size = scrapy.Field()               #人员规模
    operate_period = scrapy.Field()           #营业期限
    business_scope = scrapy.Field()           #经营范围

2.spiders

码前分析

因为是查询一系列公司的信息，所以在程序中我把公司名称写入了txt文件，遍历查询，并通过cookie登录。最后写入MySQL数据库

代码
class QccSpider(scrapy.Spider):
    name = 'qcc'
    allowed_domains = ['qichacha.com']
    start_urls = ['https://www.qichacha.com/search?key=']
    x = 1
    def start_requests(self):
        #查询公司
        f = open('G://task/qichacha/qichacha/spiders/company_list.txt','r',encoding='utf-8')
        for link in f:
            company = urllib.parse.quote(link).replace('\n','')
            url = self.start_urls[0] + company
            yield scrapy.Request(url,cookies=COOKIES,callback=self.parse)

    def parse(self,response):
        #提取列表中第一个公司，进入该页
        link = response.xpath('//tbody/tr[1]/td[2]/a/@href').extract_first()
        detail_link = response.urljoin(link) + '#base'
        #print(detail_link)
        yield scrapy.Request(detail_link,cookies=COOKIES,callback=self.page_parse)

    def page_parse(self,response):
        item = QichachaItem()

        #公司名
        name = response.xpath('//div[@class="content"]/div[1]/h1/text()').extract_first()
        item['name'] = name.strip().replace('\n','') if name else '暂无公司名信息'

        #电话
        phone = response.xpath('//div[@class="content"]/div[2]/span[1]/span[2]/span/text()').extract_first()
        item['phone'] = phone.strip().replace('\n','') if phone else '暂无电话信息'

        #官网
        website = response.xpath('//div[@class="content"]/div[2]/span[3]/a/@href').extract_first()
        item['website'] = website.strip().replace('\n','') if website else '暂无网站信息'

        #邮箱
        email = response.xpath('//div[@class="content"]/div[3]/span[1]/span[2]/a/text()').extract_first()
        if email:
            item['email'] = email
        else:
            email2 = response.xpath('//div[@class="content"]/div[3]/span[1]/span[2]/text()').extract_first()
            item['email'] = email2.strip().replace('\n','')

        #地址
        address = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[10]/td[2]/text()').extract_first()
        item['address'] = address.strip().replace('\n','') if address else '暂无地址信息'



        #注册资本
        registered_capital = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[1]/td[2]/text()').extract_first()
        item['registered_capital'] = registered_capital.replace('\n','').strip() if registered_capital else '暂无注册资本'

        #实缴资本
        contributed_capital = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[1]/td[4]/text()').extract_first()
        if contributed_capital:
            item['contributed_capital'] = contributed_capital.replace('\n','').strip()
        else:
            item['contributed_capital'] = '暂无实缴资本'

        #经营状态
        status = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[2]/td[2]/text()').extract_first()
        if status:
            item['status'] = status.replace('\n','').strip()
        else:
            item['status'] = '暂无经营状态信息'

        #成立日期
        establishment = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[2]/td[4]/text()').extract_first()
        if establishment:
            item['establishment'] = establishment.replace('\n','').strip()
        else:
            item['establishment'] = '暂无成立日期信息'

        #统一社会信用代码
        social_code = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[3]/td[2]/text()').extract_first()
        if social_code:
            item['social_code'] = social_code.replace('\n','').strip()
        else:
            item['social_code'] = '暂无统一社会信息代码信息'

        #纳税人识别号
        taxpayer_num = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[3]/td[4]/text()').extract_first()
        if taxpayer_num:
            item['taxpayer_num'] = taxpayer_num.replace('\n','').strip()
        else:
            item['taxpayer_num'] = '暂无纳税人识别号信息'

        #注册号
        registrate_num = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[4]/td[2]/text()').extract_first()
        if registrate_num:
            item['registrate_num'] = registrate_num.replace('\n','').strip()
        else:
            item['registrate_num'] = '暂无注册号信息'

        #组织机构代码
        organization_code = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[4]/td[4]/text()').extract_first()
        if organization_code:
            item['organization_code'] = organization_code.replace('\n','').strip()
        else:
            item['organization_code'] = '暂无组织机构代码信息'

        #公司类型
        company_type = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[5]/td[2]/text()').extract_first()
        if company_type:
            item['company_type'] = company_type.replace('\n','').strip()
        else:
            item['company_type'] = '暂无公司类型信息'

        #所属行业
        industry_involed = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[5]/td[4]/text()').extract_first()
        if industry_involed:
            item['industry_involed'] = industry_involed.replace('\n','').strip()
        else:
            item['industry_involed'] = '暂无所属行业信息'


        #核准日期
        approval_date = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[6]/td[2]/text()').extract_first()
        if approval_date:
            item['approval_date'] = approval_date.replace('\n','').strip()
        else:
            item['approval_date'] = '暂无核准日期信息'

        #登记机关
        registration_authority = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[6]/td[4]/text()').extract_first()
        if registration_authority:
            item['registration_authority'] = registration_authority.replace('\n','').strip()
        else:
            item['registration_authority'] = '暂无登记机关信息'

        #所属地区
        area = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[7]/td[2]/text()').extract_first()
        if area:
            item['area'] = area.replace('\n','').strip()
        else:
            item['area'] = '暂无所属地区信息'

        #英文名
        english_name = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[7]/td[4]/text()').extract_first()
        if english_name:
            item['english_name'] = english_name.replace('\n','').strip()
        else:
            item['english_name'] = '暂无英文名信息'

        #曾用名
        used = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[8]/td[2]')
        used_name = used.xpath('string(.)').extract_first()
        if used_name:
            item['used_name'] = used_name.replace('\n','').strip().replace('\xa0','')
        else:
            item['used_name'] = '暂无曾用名'

        #参保人数
        insured_num = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[8]/td[4]/text()').extract_first()
        if insured_num:
            item['insured_num'] = insured_num.replace('\n','').strip()
        else:
            item['insured_num'] = '暂无参保人数信息'

        #人员规模
        staff_size = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[9]/td[2]/text()').extract_first()
        if staff_size:
            item['staff_size'] = staff_size.replace('\n','').strip()
        else:
            item['staff_size'] = '暂无人员规模信息'

        #营业期限
        operate_period = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[9]/td[4]/text()').extract_first()
        if operate_period:
            item['operate_period'] = operate_period.replace('\n','').strip()
        else:
            item['operate_period'] = '暂无营业期限信息'

        #经营范围
        business_scope = response.xpath('//section[@id="Cominfo"]/table[@class="ntable"][2]/tr[11]/td[2]/text()').extract_first()
        if business_scope:
            item['business_scope'] = business_scope.replace('\n','').strip()
        else:
            item['business_scope'] = '暂无经营范围信息'
        yield item
  1. 其它
    本程序将爬取信息写入了数据库，此处同settings一样，不再列出。

再次声明

若有错误及改进之处，望大家批评指正。

依然关注
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 16
    评论
专栏目录
python爬虫爬取企查查公司工商信息
02-10
爬取企查查网站上公司的工商信息，路径大家根据自己情况自行修改，然后再在工程路径下创建个company.txt，里面输入想要爬取的公司名，就会生成该公司的工商信息网页。
Python爬虫：输入公司名称，爬取企查查网站中的公司信息
热门推荐
深蓝旭的博客
06-23 2万+
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章来源于Python爬虫数据分析挖掘 ，作者：李运辰 根据输入的公司名称来爬取企查查网站中公司的详细信息 1、获取headers 2、登录成功后，可根据输入的公司名称进行查询操作，得到所需要的内容。 3、将获取到的文本进行文本特殊化处理，并将其汇总成一个dataframe,方便后面保存为csv 4、输入公司名称 5、最后执行此代码，查询companys列表中所有公司名称的详细信息并保存为..
【爬虫实战】使用Python爬取站长之家上的公司介绍数据
最新发布
FLK_9090的博客
03-15 1118
在互联网时代，了解各个公司的情况对于行业分析、竞争对手研究以及投资决策都非常重要。而站长之家作为国内知名的IT门户网站，提供了大量的公司介绍信息。本文将介绍如何使用Python编写爬虫程序，从站长之家上爬取公司介绍数据，并保存到Excel表格中，以便后续分析使用。本文介绍了如何使用Python编写爬虫程序，爬取站长之家上的公司介绍数据。通过合理的代码设计和多线程的并发处理，提高了爬取效率。希望本文对你在爬取网页数据和数据分析方面有所帮助。我会持续为大家带来更多有趣且实用的教程和资源。
python爬虫--从企查查获取所有上市公司列表保存至json
weixin_36815961的博客
09-14 1244
一、观察网页规律 url:https://www.qcc.com/elib_ipo_p_1.html 数字1对应相应的页面 获取页面信息 上代码： # -*- codeing=utf-8 -*- from bs4 import BeautifulSoup import urllib.request, urllib.error import json import os 主方法： def main(): # 从企查查获得所有企业列表 datalist = ge...
爬取企业工商信息_爬取企查查--批发业企业的信息
weixin_39568706的博客
12-14 1103
由于工作要求，需要爬取企查查中批发业的所有企业的详细信息，本来准备用最简单的八爪鱼来爬取，但发现八爪鱼的爬取很鸡肋，因此特地学习python爬虫，以下只是简单的爬取需要的信息，之后更复杂的爬取还需要不断加强。一、查看robots协议https://www.qichacha.com/robots.txtUser-agent: **Allow: /Sitemap: https://www.qichac...
利用python加selenium模拟浏览器爬取百度爱企查企业详细信息
aabbcccddd01的博客
02-05 6293
目录说明企查查网页构成方式代码与详解 说明 本人不是什么爬虫大佬，只是最近在做一个项目的时候需要根据企业的名称把企业的信息爬取下来，例如营业执照、工商注册号等。在网上找了很多的信息与资源，都不是很符合我们的需求，是一种比较低频的爬虫需求，最开始是在企查查上面做的爬虫，但是这个平台经常需要登录，造成我们经常访问失败（其实也是楼主不会在爬虫的时候绕过登录????）。 后来就在百度的爱企查平台进行爬虫，毕竟大平台，对我们这种低频的爬虫容忍很大，目前为止没有产生需要登陆的情况。刚开始参考了一篇CSDN博客， 这篇文
企查查python爬虫实例
hleon66的博客
03-11 1万+
企查查python爬虫实例 前些日子尝试给朋友写了一个查询大批公司的统一社会信用码的爬虫程序，借助了很多网上的帖子，学习很多，现在也分享一下我用的python程序。 准备python库文件（python 3.7） import importlib #提供import语句 import sys import time #提供延时功能 import xlrd #excel文件读取 import o...
scrapy抓企查查数据
LavaStrom
07-22 849
scrapy抓企查查数据，scrapy爬虫核心代码，可以直接拿来参考 # -*- coding: utf-8 -*- import scrapy class SpiderSpider(scrapy.Spider): name = 'spider' allowed_domains = ['qcc.com'] def parse(self, response): # print(response.body) pass def
企查查爬虫python实现（一）整体方法
qq_41900846的博客
12-04 7003
企查查的爬虫的python实现，采用selenium模块+chromedriver驱动
爬取企查查公司信息
余生的博客
09-06 1548
import requests import time from lxml import etree import pandas as pd import csv base_url = 'https://www.qcc.com/web/search?key=' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0' } data = pd.r
企查查、天眼查、启信宝API怎么批量操作调用，API接口应用场景。
Enterprisbigdata的博客
06-15 3128
大数据时代，企业信息处于透明状态。虽然一些必要的注册信息是公开的，但并不容易找到。一般来说，工商登记信息可以在工商部门查询，但流程繁琐，需要工作人员亲自到工商局办理。在互联网时代，使用集成的业务数据信息API应用进行在线查询，帮助人们节省了大量时间。 随着市场需求的不断增加，企业工商信息查询界面受到了企业的一致青睐。数据覆盖全国。无论您在哪个行业、哪个企业，只要是工商局注册的正规企业，都可以通过企业工商信息查询界面进行验证。
爬取企查查信息
05-15
通过关键词的检索，爬取企查查网站上失信人信息。测试环境：python2.7，windows7操作系统；
基于selenium模拟天眼查登录并爬取企业工商信息的爬虫
04-23
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问
Scrapy学习笔记-基本库的使用urllib
12-21
发送请求 使用urllib的request模块，我们可以方便地实现请求的发送并得到响应。本节就来看下它的具体用法。 urlopen ...利用最基本的urlopen方法，可以完成最基本的简单网页的GET请求抓取 import urll
Scrapy学习笔记-Scrapy入门之创建爬虫
12-21
Spiders是您定义的类，Scrapy用于从网站（或一组网站）中获取信息。 他们必须继承Spider的子类，并定义要发出的初始请求，可以选择如何跟随页面中的链接，以及如何解析下载的页面内容以提取数据。 这是我们第一个...
Scrapy学习笔记-案例热干面销量之数据获取
01-21
搜集整理淘宝网关于热干面...因此，在此次项目项目中，我们利用selenium抓取淘宝商品并使用Xpath解析得到商品的名称、价格、购买人数、店铺名称、和店铺所在地的信息，并将数据保存在本地。具体爬虫思路如下： 导入相应
Scrapy学习笔记-Scrapy入门Following links
01-20
Scrapy支持CSS扩展，可让您选择属性内容 import scrapy class QuotesSpider(scrapy.Spider): name = quotes start_urls = [ 'http://quotes.toscrape.com/page/1/', ] def parse(self, response): for quote...
scrapy-redis-master_scrapy-redis_juzi1122_scrapy_
10-01
scrapy-redis分布式爬虫框架+示例
scrapy-redis分布式爬虫怎么把爬取的数据写进mysql数据库里
04-25
您好，关于将Scrapy-Redis分布式爬虫爬取的数据写入MySQL数据库，您可以按照以下步骤操作： 1. 在pip中安装PyMySQL库：pip install pymysql 2. 在Scrapy项目的settings.py文件中添加数据库配置信息： ``` MYSQL_HOST = 'localhost' # 你的mysql地址 MYSQL_DBNAME = 'test' # 数据库名字，请修改 MYSQL_USER = 'root' # 数据库账号，请修改 MYSQL_PASSWORD = '123456' # 数据库密码，请修改 MYSQL_PORT = 3306 # 数据库端口号 ``` 3. 在items.py文件中定义需要存储的字段，例如： ``` import scrapy class NewsItem(scrapy.Item): title = scrapy.Field() url = scrapy.Field() date = scrapy.Field() ``` 4. 在pipelines.py文件中编写MySQL存储Pipeline: ``` import pymysql class MySQLPipeline(object): def __init__(self, mysql_host, mysql_port, mysql_user, mysql_password, mysql_dbname): self.host = mysql_host self.port = mysql_port self.user = mysql_user self.password = mysql_password self.dbname = mysql_dbname @classmethod def from_crawler(cls, crawler): return cls( mysql_host=crawler.settings.get('MYSQL_HOST'), mysql_port=crawler.settings.get('MYSQL_PORT'), mysql_user=crawler.settings.get('MYSQL_USER'), mysql_password=crawler.settings.get('MYSQL_PASSWORD'), mysql_dbname=crawler.settings.get('MYSQL_DBNAME') ) def open_spider(self, spider): self.db = pymysql.connect( host=self.host, port=self.port, user=self.user, password=self.password, db=self.dbname ) self.cursor = self.db.cursor() def close_spider(self, spider): self.db.close() def process_item(self, item, spider): data = dict(item) keys = ', '.join(data.keys()) values = ', '.join(['%s'] * len(data)) table = 'news' # 数据库表名，请修改 sql = f'INSERT INTO {table} ({keys}) VALUES ({values})' self.cursor.execute(sql, tuple(data.values())) self.db.commit() return item ``` 4. 在settings.py文件中启用Pipeline: ``` ITEM_PIPELINES = { 'myproject.pipelines.MySQLPipeline': 300 } ``` 这样，当Scrapy爬取到数据时，就会通过MySQLPipeline将数据写入MySQL数据库中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值