bs4爬取企查查信息，时间问题一个页面创建一个txt文件，没有写保存数据库的方法

最新推荐文章于 2023-10-18 11:34:18 发布
最新推荐文章于 2023-10-18 11:34:18 发布
阅读量292 收藏
点赞数 1
文章标签： python bs4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangge666/article/details/92797218
版权 
import os
from bs4 import BeautifulSoup
from urllib import request
import urllib
import time
import codecs
import requests
import random

USER_AGENT = [
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:55.0) Gecko/20100101 Firefox/55.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:55.0) Gecko/20100101 Firefox/55.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:55.0) Gecko/20100101 Firefox/55.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:55.0) Gecko/20100101 Firefox/55.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:55.0) Gecko/20100101 Firefox/55.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.7; rv:55.0) Gecko/20100101 Firefox/55.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:55.0) Gecko/20100101 Firefox/54.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:55.0) Gecko/20100101 Firefox/53.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:55.0) Gecko/20100101 Firefox/52.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:55.0) Gecko/20100101 Firefox/50.0",
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.2306.400 QQBrowser/9.5.10648.400",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"]
def new_txt(soup):
    g=0
    alt=soup.find("div","navi-brand").find_next("img").attrs["alt"]
    print('alt',alt)
    newtxt = os.getcwd()+"\\"+alt+"\\"
    if not os.path.exists(newtxt):
        os.makedirs(newtxt)
    for file in soup.find_all('a', class_="ma_h1"):
        ur = file.get("href")
        print('ur',ur)
        QCCUR='https://www.qichacha.com' + ur
        print(str(ur) + '.txt')
        g += 1
        res = urllib.request.Request(QCCUR, headers={'User-Agent': USER_AGENT[random.randint(0, len(USER_AGENT) - 1)]})
        urlsleep = random.randint(10, 20)
        print('sleeptime', urlsleep)
        time.sleep(urlsleep)
        res = urllib.request.urlopen(res)
        soup = BeautifulSoup(res, "html.parser")
        print('soup', soup)
        wangzhi=soup.find_all("html")[0]
        print("wangzhi",wangzhi)
        urtx=str(ur).replace('/', ' ').lstrip('?')
        print(urtx)
        with codecs.open(newtxt + str(urtx)+ '.txt',"w",encoding="UTF-8")as f:
            f.write(str(wangzhi))

def xiayiye(url):
    res = urllib.request.Request(url, headers={'User-Agent': USER_AGENT[random.randint(0, len(USER_AGENT) - 1)]})
    res = urllib.request.urlopen(res)
    # res是网页的源代码，然后使用bs4的html进行解析
    soup = BeautifulSoup(res, "html.parser",from_encoding="utf8")
    cc=new_txt(soup)  # 爬取公司名
    print('cc',cc)
    for ne in soup.find_all('a', 'next'):
        next_page_url = ne.get("href")
        ne = 'https://www.qichacha.com' + next_page_url
        print('ne',ne)
        sleeptime = random.randint(10,25)
        print('sleeptime',sleeptime)
        time.sleep(sleeptime)
        xiayiye(ne)
if __name__ == '__main__':
    xiayiye("https://www.qichacha.com/g_CQ.html")
yangge666
关注
requests+selenium 爬取企查查网，1000+条数据轻轻松松
qq_44936246的博客
09-01 5733
对于这个我们就很简答了， 我们需要获取公司的具体链接 我们根据如下链接去爬取公司的具体链接： https://blog.csdn.net/qq_44936246/article/details/120049948?spm=1001.2014.3001.5501 selenium 轻松模拟登录企查查，获取企业详细信息链接 数据 注意注意注意注意 我们在根据链接，去获取 HTML的时候，前后获取的我们需要设置停顿时间---time.sleep(60)，我一般是60s,如果我们不设置十分容易被封IP，本人就是时
简单爬爬企查查
wtj的博客
02-28 2759
本来准备爬取天眼查的，但发现天眼查在不付费的情况下，只能看到前10页的内容，后面的在网页源代码中也无法看到，所以选择了抓取企查查（后来发现利用robot.txt也可以爬取天眼查），代码见下： from selenium import webdriver import time import pymongo import random client = pymongo.MongoClient(hos...
bs4根据输入的公司名称来爬取公司的详细信息！小白看不懂系列
爬遍所有网站
12-05 905
1、获取headers 1、进入企查查官网进行注册并登录。 2、然后按F12弹出开发者工具，点击Network，然后你会看到企查查这个网址，点击一下 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 然后可以找到我们需要复制的header，这是非常关键的步骤，切记这个header是自己注册之后登录成功所获取的header,这样方便后面保存一次之后就可以在一定时间内无限访问网址进行查询的操作。 from bs4 i.
python爬虫采集企查查数据
AI创世纪的博客
10-18 6090
这时候就需要使用爬虫代理IP 去解决，登陆之后获取企业信息的页面源码，解析所采集的数据，获取到企业的名称和数据代码，处理好验证码，避免爬虫行为被限制，大部分网站均限制了IP的访问量，对于爬虫频繁访问，导致被网站限制，我们还可以通过使用爬虫代理来解决。然后将采集的数据信息保存到文件中即可。企查查，一个查询企业信息的网站，这个网站也是网络爬虫选择采集的对象，这个网站反爬提别厉害，没有一定的爬虫技术，是无法采集成功的。4、储存采集的数据信息。2、采集企业信息页面。3、解析所采集的数据。
某查查app爬虫
成小新的博客
11-27 4955
最近闲来无聊，接到一个面试题，爬企查查新增企业数据 乍一看很简单哇，打开网页，一顿操作猛如虎，一看战绩，这怎么限制了,网页版只有100条数据，打开app看下，新增企事业数据这么多，但是得开会员啊。 淘宝买吧，买好之后就开始搞，各种手段，安卓模拟器抓包，模拟各种参数， 这次真的是一顿操作猛如虎啊。 {'Value': 1101, 'Desc': '北京市', 'Count': 6725, 'prov...
Python爬虫爬取企查查数据
Laic Zhang的博客
06-02 2万+
#-*- coding-8 -*- import requests import lxml import sys from bs4 import BeautifulSoup import xlwt import time import urllib def craw(url,key_word,x): User_Agent = 'Mozilla/5.0 (Windows NT 6.1; ...
读书笔记（十）——python简单爬取企查查网企业信息，并以excel格式存储
weixin_34216196的博客
09-09 1954
2019独角兽企业重金招聘Python工程师标准>>> ...
Python3爬取企查查网站的企业年表并存入MySQL
MaxsLee的专栏
04-16 9151
Python3爬取企查查网站的企业年表并存入MySQL本篇博客的主要内容：爬取企查查网站的企业年报数据，存到mysql中，为了方便记录，分成两个模块来写：第一个模块是爬取数据+解析数据，并将数据存到文件中；第二个模块是将数据存到mysql数据库中(批量插入)第一部分：爬取数据+解析数据需要的库文件：import pymysqlimport requestsfrom bs4 import Beaut...
我想要爬取企查查网页这个网站https://www.qcc.com/web/project/dynamic/d06c84db6183841b9828e334515a3833.html的公司动态信息，怎么做
10-30
以下是一个基本步骤： 1. **安装必要的库**： 首先确保已经安装了`requests`和`beautifulsoup4`库。如果没有，可以使用以下命令安装： ``` pip install requests beautifulsoup4 ``` 2. **发送请求**： 使用...
Python爬企查查网站数据的爬虫代码如何写？
10-15
编写Python爬取企查查网站数据的爬虫通常涉及以下几个步骤： 1. **安装必要的库**： 首先需要安装`requests`库用于发送HTTP请求，以及像`BeautifulSoup`或`lxml`这样的HTML解析库，它们可以帮助解析网页内容。 ``...
BeautifulSoup不能正确解析或找不到特定标签的解决方案
大屁孩的博客
06-18 1万+
近期在使用BeautifulSoup对网页进行解析，想要获取网页的数据，如下代码： soup = BeautifulSoup( resp.text, 'html.parser' ) 结果发现根据特定的id找不到对应那个标签，还出现找到了标签，但是标签结构破坏的情况，比如下面这个例子： 这是网页内容，我要循环每个tr标签，得到th里的文本，关键代码如下： 最终输入出的结果为： 可以看到前面输...
lucene基本概念
rabbit9898
12-03 113
一、lucene索引的建立 1.索引文件 .fdt文件：主要保存数据源数据，存储的field的值仅为Document中具有的Store.YES属性的field .fdx文件：记录当前Document在.fdt文件中的位置，以便后面读取时方便 segments文件：通常，在一个完整的索引中，有且只有一个segments文件，该文件没有后缀，它记录了当前索引中所有的 segment的信...
Python 爬取企查查数据
热门推荐
sansan512的博客
11-15 2万+
由于工作需要，爬取企查查数据，在前人的基础上做了修改，可以爬全部的数据，代码如下： #-*- coding-8 -*- import requests import lxml from bs4 import BeautifulSoup import xlwt import time def craw(url,key_word):     User_Agent = 'Mozi
python向mysql中添加数据_python3实现往mysql中插入datetime类型的数据
weixin_39827589的博客
11-26 525
昨天在这个上面找了好久的错，嘤嘤嘤~很多时候我们在爬取数据存储的时候都需要将当前时间作为一个依据，在python里面没有时间类型可以直接拿来就用的。我们只需要在存储之前将时间类型稍作修饰就行。datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")如：#插入产品信息insert_good_sql = """ INSERT INTO T_GOOD(g...
stata软件安装包（stata18）（stata软件安装包下载与安装）
11-07
软件主体：stata软件安装包。版本：stata18。价格：免费。安装教程：请阅读本人相对应的安装教程文章。描述：安装教程保姆级别仔细，直接按步骤来就行了。本人申明：本安装包需要的人可以免费获取，不用于商业买卖，只用于学术研究。（如果可以帮到大家就给个关注吧）
基于Java的电力设备管理系统的开发与设计
11-07
内容概要：本文介绍了一个基于Java技术开发的电力设备管理系统的详细设计与实现过程。系统涵盖了电力设备、站点管理、技术资料图纸管理、建筑管理、审批流转等多个功能模块，通过高效的信息化手段，提高了电力设备的管理水平，降低了传统管理带来的冗余劳动，提升了工作效率。系统采用J2EE三层架构模式，使用SSH技术框架，前端使用JSP、CSS和JavaScript技术，数据库使用MySQL，实现了高内聚低耦合的系统架构。 适合人群：从事电力设备管理的IT从业人员，尤其是有一定Java开发基础的研发人员。 使用场景及目标：适用于需要对电力设备进行全面管理的企业，旨在提升电力设备管理的自动化水平和信息共享能力，从而减少人力投入，提高管理水平和安全性。 其他说明：本文提供了系统的总体架构、各功能模块的具体设计和实现细节，还讨论了系统测试的方法和测试用例，确保系统功能的完整性和可靠性。
【超强组合】基于VMD-蝠鲼觅食优化算法MRFO-Transformer-LSTM的光伏预测算研究Matlab实现.rar
11-07
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
【超强组合】基于VMD-鲸鱼优化算法WOA-Transformer-LSTM的光伏预测算研究Matlab实现.rar
11-07
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
栅格系统Grid布局.docx
最新发布
11-07
栅格系统Grid布局.docx
帮我用python写一个爬取企查查公司名称和地址
04-20
好的，我可以帮你写一个 Python 程序来爬取企查查公司名称和地址。你只需要安装 requests 和 BeautifulSoup 两个库，然后运行下面这段代码： ```python import requests from bs4 import BeautifulSoup url = '...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值