利用R通过顺企网根据公司名称爬取企业地址

最新推荐文章于 2024-05-10 10:49:41 发布
最新推荐文章于 2024-05-10 10:49:41 发布
阅读量2.2k 收藏 5
点赞数 6
分类专栏： R爬虫 R
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingchen98/article/details/107771101
版权
R 同时被 2 个专栏收录
16 篇文章 65 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
R爬虫
2 篇文章 1 订阅
订阅专栏

利用R通过顺企网根据公司名称爬取企业地址

有时我们有公司名称数据但是没有地址，需要根据公司名称找出企业的地址，描述其空间布局，如果数据量很大，手动在网页中操作费时费力，R语言提供了一个解决的办法，前提是该网站能够与机器交互（即没有反爬机制，或者有但限制较小）。其过程如下

1. 首先读取数据并作简单处理
打开顺企网检索某个公司

发现其链接是以下形式，其特征是字符串+“公司名称”构成了一个完整的链接
在这里插入图片描述
因此可以对每个公司名称构建url地址，然后根据url地址获取页面信息

#library packeges
> library(readxl)
> library
了解本专栏 订阅专栏 解锁全文 超级会员免费看
小火柴123
关注
  • 6
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
订阅专栏
输入企业名称，爬取企业地址
wuqi356的博客
07-24 2989
输入企业名称，爬取企业地址，你也可以添加其他信息进去。 # -*- coding: utf-8 -*- """ Created on Tue Jul 23 14:11:50 2019 @author: Administrator """ import requests import lxml import sys from bs4 import BeautifulSoup import x...
bs4根据输入的公司名称来爬取公司的详细信息！小白看不懂系列
爬遍所有网站
12-05 717
1、获取headers 1、进入企查查官网进行注册并登录。 2、然后按F12弹出开发者工具，点击Network，然后你会看到企查查这个网址，点击一下 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 然后可以找到我们需要复制的header，这是非常关键的步骤，切记这个header是自己注册之后登录成功所获取的header,这样方便后面保存一次之后就可以在一定时间内无限访问网址进行查询的操作。 from bs4 i.
2024年最全Python利用百度地图抓取商家地址_百度地图爬取 cid(1)，面试官不录用你的暗示
最新发布
m0_63174618的博客
05-10 718
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
爬取企查查公司URL
余生的博客
09-06 502
import time import pandas as pd from selenium import webdriver from selenium.webdriver import ActionChains a = [] def login(driver): driver.delete_all_cookies() url = "https://www.qcc.com/weblogin?back=%2F" #https://www.qcc.com/weblogin?back=%2F
python 根据名称获取pid_Python爬虫之爬取肯德基餐厅地址
weixin_35698190的博客
12-31 316
一、准备工作：环境要求：Python 环境pycharm 开发工具requests库chrome浏览器或firefox浏览器(用来查看网页)以上如有任何问题，请参考 教你成为一名程序开发人员(Python方向)二、分析肯德基官方网站：地址：http://www.kfc.com.cn/kfccda/index.aspx 可以看到在底部有6个链接，二第5个是门店查询，点击进入进入到门店查询的页面：ht...
使用Python完成公司名称和地址的模糊匹配的实现
09-18
主要介绍了使用Python完成公司名称和地址的模糊匹配的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Python爬取数据并写入MySQL数据库的实例
09-09
在本实例中，我们将探讨如何使用Python编程语言从网页抓取数据并将其存储到MySQL数据库中。这个过程涉及两个主要部分：数据爬取和数据库操作。 1. **数据爬取**： 数据爬取通常使用Python中的第三方库，如...
简述利用Python网络爬虫实现多下载站软件搜索及下载地址提取.zip
10-16
本话题聚焦于如何利用Python网络爬虫实现多下载站的软件搜索以及下载地址的提取。这涉及到Python编程语言、网络请求库、HTML解析技术、正则表达式和数据存储等多个知识点。 首先，Python是爬虫开发的热门选择，其...
爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据，放假分析以及预测
12-08
6. **模型评估与优化**：通过交叉验证和指标（如R^2、MAE、RMSE）评估模型性能，并根据结果调整模型参数或尝试其他算法。 最后，将模型应用到新的房价数据上，进行预测，并定期更新模型以适应市场的动态变化。同时...
Python动物农场爬取数据小练习题
06-29
在本实践项目“Python动物农场爬取数据小练习题”中，我们将重点学习和运用Python中的几个关键模块：requests、os以及re。这些模块在Python编程，尤其是网络爬虫开发中发挥着至关重要的作用。 首先，`requests`模块...
爬虫电影_爬虫_电影网_VBa_
10-02
在“爬虫电影”这个项目中，我们利用VBA来构建一个电影数据爬虫，目标是抓取电影网站上的相关信息，如电影名称、导演、演员、剧情简介等，以实现对电影数据库的自动化更新或分析。 VBA爬虫的工作原理是通过模拟...
python爬虫爬取企查查公司工商信息
02-10
爬取企查查网站上公司的工商信息，路径大家根据自己情况自行修改，然后再在工程路径下创建个company.txt，里面输入想要爬取的公司名，就会生成该公司的工商信息网页。
shunqiwang_by_scrapy:利用scrapy框架爬取顺企网企业的工商信息
04-27
shunqiwang_by_scrapy 利用scrapy框架爬取顺企网企业的工商信息
【第一个爬虫】python爬取58同城企业信息并插入数据库
Line290的博客
04-11 5141
import urllib import urllib2 import HTMLParser from bs4 import BeautifulSoup import re import MySQLdb as mdb import json i=1 #number order of companys def GetOnePageUrl(url): global i flag = 0 req
python爬取企业名录
黑面狐
12-31 8435
爬取企业名录然后存储到数据库中。 #-*- coding:utf-8 -*- import requests import MySQLdb import re from bs4 import BeautifulSoup headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (K
python爬取地址
m0_58367408的博客
10-07 200
使用 Python 中的 requests 和 BeautifulSoup 库来进行网页内容的获取和解析。
python——根据公司名称查找公司地址（批量）、随机生成姓名、随机生成手机号
wy313622821的博客
09-26 5499
根据公司名称查找公司地址（批量）、随机生成姓名、随机生成手机号；各个功能都已经封装成了独立的方法，直接粘贴使用即可。
信息收集-子域名与站内URL
hhhhe1的博客
01-06 1132
如何高速有效的在渗透测试之前，进行信息收集。
r语言抓取网页数据_R中的网页抓取
weixin_26716079的博客
10-09 2705
r语言抓取网页数据Objective: To fetch the latest product prices that have been hosted on the competitor’s website programmatically.目标：以编程方式获取竞争对手网站上托管的最新产品价格。 For the purpose of demonstration, let’s look into ...
利用正则表达式爬取QQ音乐周杰伦所有专辑的名字，发布时间和评论数
06-07
好的，以下是利用正则表达式爬取QQ音乐周杰伦所有专辑的名字，发布时间和评论数的Python代码： ```python import re import requests # 构造请求头 headers = { 'Referer': 'https://y.qq.com/n/yqq/singer/0025NhlN2yWrP4.html', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36' } # 构造URL url = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp' # 构造请求参数 params = { 'ct': '24', 'qqmusic_ver': '1298', 'new_json': '1', 'remoteplace': 'sizer.yqq.album_next', 'searchid': '64405487069162918', 't': '1002', 'aggr': '1', 'cr': '1', 'catZhida': '1', 'lossless': '0', 'flag_qc': '0', 'p': '1', 'n': '20', 'w': '周杰伦', 'g_tk': '5381', 'jsonpCallback': 'jsonp1', 'loginUin': '0', 'hostUin': '0', 'format': 'jsonp', 'inCharset': 'utf8', 'outCharset': 'utf-8', 'notice': '0', 'platform': 'yqq.json', 'needNewCode': '0' } # 发送请求获取响应 response = requests.get(url, headers=headers, params=params) response_text = response.text # 使用正则表达式提取专辑信息 album_pattern = r'"list":\{"album":(.*?),"totalnum":\d+\}' album_match = re.search(album_pattern, response_text, re.S) if album_match: album_list = eval(album_match.group(1)) for album in album_list: album_name = album['name'] # 专辑名 album_time = album['time_public'] # 发布时间 album_comment_num = album['comment_count'] # 评论数 print(album_name, album_time, album_comment_num) ``` 输出结果： ``` 周杰伦的床边故事 2016-06-24 161642 哎呦，不错哦 2014-12-26 456561 十二新作 2012-12-28 276927 惊叹号 2011-11-11 345031 跨时代 2010-05-18 411433 我很忙 2007-11-02 251083 依然范特西 2006-09-01 198428 十一月的萧邦 2005-11-01 158769 七里香 2004-08-03 257667 叶惠美 2003-07-31 197126 范特西 2001-09-20 112886 Jay 2000-11-07 125806 ``` 注意：由于QQ音乐的反爬虫机制，上述代码可能会受到限制，需要添加一些反反爬虫措施。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小火柴123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值