用python爬取企查查_python爬取企查查江苏企业信息生成excel表格

1.前期准备

具体请查看上一篇

2.准备库requests,BeautifulSoup,xlwt,lxml

1.BeautifulSoup：是专业的网页爬取库，方便抓取网页信息

2.xlwt：生成excel表格

3.lxml：xml解析库

3.具体思路

企查查网站具有一定的反爬机制，直接爬取会受到网站阻拦，所以我们需要模拟浏览器请求，绕过反爬机制，打开企查查网站，获取cookie及一系列请求头文件，然后使用BeautifulSoup分析网页节点捕捉需要的信息

4.源码

# encoding: utf-8

import requests

from bs4 import BeautifulSoup

import lxml

import xlwt

import re

def craw():

file = xlwt.Workbook()

table = file.add_sheet('sheet1', cell_overwrite_ok=True)

print('正在爬取，请稍等....')

for n in range(1,500):

print('第'+ str(n) + '页......')

url = 'https://www.qichacha.com/g_JS_' + str(n) + '.html'

user_agent = 'Mozilla/5.0 (Windows NT 10.