网站table标签下表格数据的爬取

最新推荐文章于 2024-06-24 12:33:01 发布
最新推荐文章于 2024-06-24 12:33:01 发布
阅读量4.6k 收藏 10
点赞数 4
分类专栏： 爬虫 文章标签： 网站table标签下表格数据的爬取 
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Strive_0902/article/details/89383040
版权

要求：

爬取网站：http://www.cbrc.gov.cn/chinese/home/docViewPage/110009&current=1中的所有page_url里面的信息。

具体信息有以下四类：图片格式的png 、附件包括pdf或xls 、网页表格 （表格有两种），下面是四种实例网站

1）附件 http://www.cbrc.gov.cn/chinese/home/docView/3166B102A1C540D3B91F1CF40A88A091.html

2）表格1 http://www.cbrc.gov.cn/chinese/home/docView/201005120F33F2E00CDDDC79FFC70C1782E32B00.html

3）表格2 http://www.cbrc.gov.cn/chinese/home/docView/20110513802A974AF04EC97BFFECB584A566A800.html

4）png http://www.cbrc.gov.cn/chinese/home/docView/7C19F626EAC74658A5163952034C06D0.html

图片和附加就没有什么可说的了，和前几次爬取的方法一样，唯一不同的是这次的save函数，需要加头部信息，否则就会返回403。

所以下面主要说的是网页表格的爬取

表格分析：

表格分为两类：

1）html页面存在导出按钮的，可以直接下载

2）html页面不存在导出按钮的，需要在响应得到的html页面人为的添加几行代码 

1） 在table里面加 id='detailtb'，这个id的作用是点击的位置指引

2） 在body里面加 '<input type="button" class="btn" onclick="exportExcel(\'detailtb\');" value="daochuEXCEL" id=\'export\'/></body>'，这句的作用就是添加导出按钮

3） 在整个页面后面添加一段js代码，具体为：


js = r'''<script>
    var idTmr;
    function getExplorer() {
      var explorer = window.navigator.userAgent ;
      //ie
      if (explorer.indexOf("MSIE") >= 0) {
        return 'ie';
      }
      //firefox
      else if (explorer.indexOf("Firefox") >= 0) {
        return 'Firefox';
      }
      //Chrome
      else if(explorer.indexOf("Chrome") >= 0){
        return 'Chrome';
      }
      //Opera
      else if(explorer.indexOf("Opera") >= 0){
        return 'Opera';
      }
      //Safari
      else if(explorer.indexOf("Safari") >= 0){
        return 'Safari';
      }
    }
    function exportExcel(tableid) {
      if(getExplorer()=='ie')
      {
        var curTbl = document.getElementById(tableid);
        var oXL = new ActiveXObject("Excel.Application");
        var oWB = oXL.Workbooks.Add();
        var xlsheet = oWB.Worksheets(1);
        var sel = document.body.createTextRange();
        sel.moveToElementText(curTbl);
        sel.select();
        sel.execCommand("Copy");
        xlsheet.Paste();
        oXL.Visible = true;
        try {
          var fname = oXL.Application.GetSaveAsFilename("Excel.xls", "Excel Spreadsheets (*.xls), *.xls");
        } catch (e) {
          print("Nested catch caught " + e);
        } finally {
          oWB.SaveAs(fname);
          oWB.Close(savechanges = false);
          oXL.Quit();
          oXL = null;
          idTmr = window.setInterval("Cleanup();", 1);
        }
      }
      else
      {
        tableToExcel(tableid)
      }
    }
    function Cleanup() {
      window.clearInterval(idTmr);
      CollectGarbage();
    }
    var tableToExcel = (function() {
      var uri = 'data:application/vnd.ms-excel;base64,',
          template = '<html><head><meta charset="UTF-8"></head><body><table>{table}</table></body></html>',
          base64 = function(s) { return window.btoa(unescape(encodeURIComponent(s))) },
          format = function(s, c) {
            return s.replace(/{(\w+)}/g,
                function(m, p) { return c[p]; }) }
      return function(table, name) {
        if (!table.nodeType)
        table = document.getElementById(table)
        var ctx = {worksheet: name || 'Worksheet', table: table.innerHTML}

        //可行
         var a = document.createElement("a");
         a.download = ''' + '\"' + name + ".xls" + '\"' + r''';
         a.href = uri + base64(format(template, ctx))
         a.click();
      }
    })()

</script>'''

思路：

无导出按钮的表格爬取思路是：

首先请求到网页的html信息，并将其保存到本地，然后在该文件中加如上述三个部分，得到新的html文件，然后请求该文件就可以得到带有导出按钮的表格页面。最后将其保存下来。

前面是没有导出按钮的图；后面带有导出按钮的图

                                                      图1  没有导出按钮的图

 

                                                        图2  带有导出按钮的图 

实现代码为：

# -*- coding: utf-8 -*-
import traceback
import os
import logging
import time
import os
import json
import requests
import datetime
from lxml import etree
import os
import re

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.alert import Alert
import time
import json
from lxml import etree

def parse_url(final_url,name):
    # 得到网页中的所有数据
    ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
    # Base_url = "http://www.cbrc.gov.cn/chinese/home/docViewPage/110009.html"
    Cookie = "__jsluid=a0ff288cfece0ec1cb5e22c4a24a6675; __jsl_clearance=1555571859.427|0|xIYeAeXRX%2BFS334V1evcRQStJdA%3D"
    Host = "www.cbrc.gov.cn"
    req = requests.get(final_url, headers={'User-agent': ua, 'Cookie': Cookie, 'Host': Host})
    # text = input_button(req.text)
    # 处理 id input
    a = req.text
    # mytree = etree.HTML(a)
    # file_name = mytree.xpath("//p[@class='MsoNormal']/b/span[1]/text()")[0]
    if '<table class=MsoNormalTable' in a:
        b = a.replace('<table class=MsoNormalTable', "<table class=MsoNormalTable id='detailtb'")
        page_html = b.replace('</body>','<input type="button" class="btn" onclick="exportExcel(\'detailtb\');" value="daochuEXCEL" id=\'export\'/></body>')
    elif ' <table style="WIDTH:' in a:
        b = a.replace('<table style="WIDTH:', '<table id="detailtb" style="WIDTH: ')
        page_html = b.replace('</body>',
                              '<input type="button" class="btn" onclick="exportExcel(\'detailtb\');" value="daochuEXCEL" id=\'export\'/></body>')
        # 生成html文件
        html_path = name + ".html"
        if not os.path.exists(html_path):
            with open(html_path, "w", encoding="gbk") as fff:
                fff.write(page_html)

                js = r'''<script>
                    var idTmr;
                    function getExplorer() {
                      var explorer = window.navigator.userAgent ;
                      //ie
                      if (explorer.indexOf("MSIE") >= 0) {
                        return 'ie';
                      }
                      //firefox
                      else if (explorer.indexOf("Firefox") >= 0) {
                        return 'Firefox';
                      }
                      //Chrome
                      else if(explorer.indexOf("Chrome") >= 0){
                        return 'Chrome';
                      }
                      //Opera
                      else if(explorer.indexOf("Opera") >= 0){
                        return 'Opera';
                      }
                      //Safari
                      else if(explorer.indexOf("Safari") >= 0){
                        return 'Safari';
                      }
                    }
                    function exportExcel(tableid) {
                      if(getExplorer()=='ie')
                      {
                        var curTbl = document.getElementById(tableid);
                        var oXL = new ActiveXObject("Excel.Application");
                        var oWB = oXL.Workbooks.Add();
                        var xlsheet = oWB.Worksheets(1);
                        var sel = document.body.createTextRange();
                        sel.moveToElementText(curTbl);
                        sel.select();
                        sel.execCommand("Copy");
                        xlsheet.Paste();
                        oXL.Visible = true;
                        try {
                          var fname = oXL.Application.GetSaveAsFilename("Excel.xls", "Excel Spreadsheets (*.xls), *.xls");
                        } catch (e) {
                          print("Nested catch caught " + e);
                        } finally {
                          oWB.SaveAs(fname);
                          oWB.Close(savechanges = false);
                          oXL.Quit();
                          oXL = null;
                          idTmr = window.setInterval("Cleanup();", 1);
                        }
                      }
                      else
                      {
                        tableToExcel(tableid)
                      }
                    }
                    function Cleanup() {
                      window.clearInterval(idTmr);
                      CollectGarbage();
                    }
                    var tableToExcel = (function() {
                      var uri = 'data:application/vnd.ms-excel;base64,',
                          template = '<html><head><meta charset="UTF-8"></head><body><table>{table}</table></body></html>',
                          base64 = function(s) { return window.btoa(unescape(encodeURIComponent(s))) },
                          format = function(s, c) {
                            return s.replace(/{(\w+)}/g,
                                function(m, p) { return c[p]; }) }
                      return function(table, name) {
                        if (!table.nodeType)
                        table = document.getElementById(table)
                        var ctx = {worksheet: name || 'Worksheet', table: table.innerHTML}
    
                        //可行
                         var a = document.createElement("a");
                         a.download = '''+ '\"'+ name +".xls" + '\"' + r''';
                         a.href = uri + base64(format(template, ctx))
                         a.click();
                      }
                    })()
    
                </script>'''


                fff.write(js)
                time.sleep(3)


        # selnium 调用


        filePath = os.path.dirname(os.path.abspath(__file__)) + "\\" +  html_path
        print(filePath)

        # file:///D:/pycharmProject/leetcode/work/%E4%B8%AD%E6%B6%88%E5%8D%8F/1.html

        # file://D:/pycharmProject/leetcode/work/中消协北京中之光会计师事务所有限责任公司.html

        filePath = "file:///" + filePath.replace("\\", "/")
        print(filePath)



        # from selenium.webdriver.chrome.options import Options
        # chrome_options = Options()
        # chrome_options.add_argument('--headless')
        # browser = webdriver.Chrome(chrome_options=chrome_options)

        # r'D:\pycharmProject\leetcode\work\中消协\excel\'
        options = webdriver.ChromeOptions()
        #options.add_argument('--headless')  # 不能跑无头模式
        prefs = {'profile.default_content_settings.popups': 0, 'download.default_directory': 'E:\\excel'}
        options.add_experimental_option('prefs', prefs)
        # options.add_argument('--headless')
        browser = webdriver.Chrome(chrome_options=options)

        # 无头模式下强行使用下载功能
        # browser.command_executor._commands["send_command"] = ("POST", '/session/$sessionId/chromium/send_command')
        # params = {'cmd': 'Page.setDownloadBehavior', 'params': {'behavior': 'allow', 'downloadPath': "D:\\excel"}}
        # browser.execute("send_command", params)


        # browser = webdriver.Chrome()
        browser.implicitly_wait(3)
        browser.maximize_window()
        wait = WebDriverWait(browser, 3)

        # file:///D:/pycharmProject/leetcode/work/中消协北京中之光会计师事务所有限责任公司.html
        try:
            browser.get(filePath)
            time.sleep(3)

            # 点击导出
            wait.until(EC.presence_of_element_located((By.XPATH, "//input[@id='export']"))).click()
            time.sleep(2)

            # 弹出框

            # 点击确定

            # driver.findElement(By.id("updateButton")).click();
            # alert = browser.switch_to.alert
            # alert.accept()
            # print(alert.text)
            time.sleep(6)
            print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
        except:
            print("error")
            time.sleep(4)
        finally:
            browser.quit()

# def parse_png_xls(final_url,name):
#     dd

ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
Base_url = "http://www.cbrc.gov.cn/chinese/home/docViewPage/110009&current="
Cookie="__jsluid=a0ff288cfece0ec1cb5e22c4a24a6675; __jsl_clearance=1555566993.764|0|ZMSMkj5pl7HUTHHz7u%2F6c%2FuFEVQ%3D"
Host="www.cbrc.gov.cn"
for i in range(1,4):
    url_list = Base_url + str(i)
    req = requests.get(url_list, headers={'User-agent': ua,'Cookie':Cookie,'Host':Host,'Upgrade-Insecure-Requests': '1'})
    req.encoding = "utf-8"
    # print(req.text)
    mytree = etree.HTML(req.text)
    pdf_url = mytree.xpath('//table[@id="testUI"]//tr/td[not(contains(@colspan,"3"))]/a/@href')
    file_name = mytree.xpath('//table[@id="testUI"]//tr/td[not(contains(@colspan,"3"))]/a/@title')
    for i in range(len(pdf_url)):
        page_url = "http://www.cbrc.gov.cn" + pdf_url[i]
        print(page_url)
        #下面这行是爬取网页表格的函数
        # parse_url(page_url, file_name[i])
        #下面是爬取包含附件和图片的函数

实现结果：

把类似于这样的网页表格

http://www.cbrc.gov.cn/chinese/home/docView/20110513802A974AF04EC97BFFECB584A566A800.html

保存为本地的excel文件：

 

青果HA
关注
专栏目录
爬取table的数据_不用分析页面，无脑抓取table数据
weixin_42493639的博客
01-11 2120
如果你的爬虫所要爬取的内容存在于页面的table标签中，那么本文所探索的方法，对你非常有帮助。下面两个网址中，都有非常规范的table数据北京有哪些500强企业？2019北京500强企业名单_排行榜123网​www.phb123.com中国企业500强_百度百科​baike.baidu.com前者是北京500强企业名单，后者是中国企业500强名单常规的抓取，你需要分析页面，准确的找到这部分内容的标...
网页表格爬取方法
qq_40932165的博客
01-14 5815
爬虫小练习，网页表格数据爬取
爬取网页表格到Excel ？别再复制粘贴了，太慢！
weixin_43485035的博客
11-23 1759
这种情况，可能你也遇到过： 做报表时需要一些外部数据，通常上网找。 比如，你要做一份手机产品调研，需要导入各品牌手机的参数，做对比分析。 ◎ 中关村网的OPPO手机参数 这种网上数据，一般呈表格状。 你心想，既然Excel也是做表的，那复制下来不就完事了？ 然后开始左点鼠标，非常“细心”选取表格，以确保不把多余又无关紧要的内容弄下来。 而这个过程，往往很磨人…… ◎ 操作示范 贴了下来之后，问题还一堆： 排版失效，行列对不准，字体都挤在了一起。 表格原来的文本颜色，字体大小也被复制了下来，搞得你要重做一
PHP爬虫实战：如何抓取网页表格数据
最新发布
Ob2024的博客
06-24 676
通过分析目标网页的结构和数据格式，并使用相应的DOM操作方法，我们可以快速地定位和获取所需的数据，进而实现各种数据分析和应用场景。这里我们选择使用PHP Simple HTML DOM Parser库，它是一个轻量级的HTML解析器，可以很方便地解析HTML文档中的标签和属性，并提供了一些常用的DOM操作方法。在编写抓取网页数据的代码之前，我们需要先分析目标网页的结构和数据格式，以便能够正确地定位和获取所需的数据。在实际的应用场景中，我们经常需要从网页中抓取特定的数据，尤其是网页中的表格数据。
html 表格table点一下变色_三行代码爬取网页table
weixin_39847945的博客
11-27 311
之前逛论坛，突然看到一个很有意思的爬虫，就是利用Pandas里的read_html爬取网页中table。首先，我们介绍一下这个网页http://www.weather.com.cn/textFC/hb.shtml我们看到这个网址有很多地区的天气，看起来很像是表格形式，那我们就进一步去验证是否是表格。如下图，我们先打开检查（F12），点击1，然后点击2的地方，找到表格所在，但现在依然是div,不是t...
爬虫：爬取有table标签的表格数据
weixin_44824389的博客
02-21 7134
爬虫：爬取有table标签的表格数据 简单使用方法：# 谷歌浏览器 -> 审查元素 -> copy selector 如果截取不到，截取一部分前半部分 select： url = 'http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=1' city_list = ['http://s.askci.com/stoc...
Python抓取html中table数据
sinat_40701582的博客
07-23 3377
SC def table_Excel(tableHtml): soup = BeautifulSoup(content, 'html.parser') tables = soup.find_all('table') # 查看当前html页面所有table 元素<可能含有多个> file_name = "export{}.xlsx".format(time.time()) # 导出文件名 # ExcelWriter is the class for writin
html 中抓取数据,.net中 网页抓取数据（提取html中的数据，提取table中的数据）...
weixin_42491664的博客
05-31 378
方法一：WebRequest request = WebRequest.Create("http://www.cftea.com/");WebResponse response = request.GetResponse();StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncodi...
Python基于pandas爬取网页表格数据
12-17
在Python的编程环境中，pandas库是一个非常强大的数据分析工具，同时也提供了一种便捷的方式来爬取网页中的表格数据。本文将详细介绍如何使用pandas的`read_html`函数来抓取网页表格，以及一些相关的参数和使用技巧...
python爬虫表格table_Python基于pandas爬取网页表格数据
weixin_39894932的博客
12-20 1937
以网页表格为例：https://www.kuaidaili.com/free/该网站数据存在table标签，直接用requests，需要结合bs4解析正则/xpath/lxml等，没有几行代码是搞不定的。今天介绍的黑科技是pandas自带爬虫功能，pd.read_html()，只需传人url，一行代码搞定。原网页结构如下：python代码如下：import pandas as pdurl='htt...
python爬虫表格table_三行代码爬取网页table
weixin_39615219的博客
12-20 2980
之前逛论坛，突然看到一个很有意思的爬虫，就是利用Pandas里的read_html爬取网页中table。我们看到这个网址有很多地区的天气，看起来很像是表格形式，那我们就进一步去验证是否是表格。如下图，我们先打开检查(F12)，点击1，然后点击2的地方，找到表格所在，但现在依然是div,不是table，再继续点击展开div,最后找到了table,说明这个是table，那我们就可以爬取表格了。现在开始...
node.js爬取网站数据【dom方式】
The limits of your knowledge are the limits of your world
03-29 2307
这里写目录标题第一步：准备工作；1. 选择目标地址URL；2. 确保 node.js 环境；3. CMd命令 ：创建项目文件夹 ；4. CMd窗口 ：调用 npm init 来初始化 生成 package.json ；5. CMd窗口 : 安装所需依赖包 cheerio 、superagent 及nodejs 中的 fs 文件模块；（1）superagent 包 定义：（1）cherrio 包 定义：第二步： 编写代码；1. 引入依赖包；2. 声明目标网址的url；3. superagent 发
python爬取网页表格_Python基于pandas爬取网页表格数据
weixin_39811193的博客
11-23 754
该网站数据存在table标签，直接用requests，需要结合bs4解析正则/xpath/lxml等，没有几行代码是搞不定的。今天介绍的黑科技是pandas自带爬虫功能，pd.read_html()，只需传人url，一行代码搞定。原网页结构如下：python代码如下：import pandas as pdurl='http://www.kuaidaili.com/free/'df=pd.read_...
第2关：爬取表格中指定单元格的信息
weixin_56636204的博客
10-25 2591
对于该网页的td标签，如上图所示，需要用text才能返回文本。对于上述获得的表格标签的内容，爬取从第4行开始的文本， 显示每行的地区名称、总人口、城镇人口、乡村人口和城镇化率 各项之间用空格隔开，包括最后一列后面也有空格 每个地区换一行。找到表格的所有tr标签，存入列表lb 若需要找每行下的所有td标签，则需要对lb循环，对每个元素执行find_all("td")因此，如果要获得其中的数据，需要首先找到标签，并遍历其中每个标签，获取其值 例如，表格的第四行对应的html代码如下。find_all函数。
python爬虫笔记：爬取网页数据存储到excel
热门推荐
御风的博客
05-09 1万+
python抓取玄幻小说排行榜存储到excel使用requests从小说网页上获取得到信息使用BeautifulSoup解析将得到的小说排行榜信息存到list使用xlwt模块创建Excel最后得到Excel数据 使用requests从小说网页上获取得到信息 url = 'http://top.hengyan.com/xuanhuan/' html = requests.get(url) 使用Be...
Python示例代码之爬取网页中的表格
chenzhanhai的专栏
06-09 1万+
直接上代码吧，代码是最好的注释。 # Author Zhanhai import requests from pyquery import PyQuery as pq def get_page(url): """发起请求 获得源码""" r = requests.get(url) r.encoding = 'utf8' html = r.text ...
关于标签选择器获取table中的＜td＞标签中的html值,以及＜td＞中＜input type=‘text‘＞中的value值的详解
weixin_40517799的博客
05-10 2734
这是我自己最近做的项目的一段jsp代码， <table id="Mytable" class="table table-hover table-bordered table-striped" style="margin-bottom: 0px;"> <tr> <th>序号</th> <th>设备名称</th> <th>设备编号</th> <th>设备类型编号&l
[python] 常用正则表达式爬取网页信息及分析HTML标签总结
weixin_30764137的博客
12-07 376
参考网址：http://blog.csdn.net/Eastmount/article/details/51082253 常用正则表达式爬取网页信息及HTML分析总结 1.获取<tr></tr>标签之间内容 2.获取<a href..></a>超链接之间内容 3.获取URL最后一个参数命名图片或传递参数 4.爬取网页中所有URL链接 ...
Python如何爬取网站表格数据并存入Excel
05-20
Python可以使用第三方库BeautifulSoup和pandas来爬取网站表格数据并存入Excel。 首先，使用requests库获取网页的HTML文档，并使用BeautifulSoup库解析HTML文档，找到表格数据所在的HTML标签。 然后，使用pandas库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值