怎么获取codeforces的数据_用Excel爬数据炒股票，老板还以为你在认真工作

最新推荐文章于 2022-07-20 17:31:34 发布
最新推荐文章于 2022-07-20 17:31:34 发布
阅读量238 收藏 2
点赞数 1
文章标签： 怎么获取codeforces的数据

平时我们使用Excel，经常是处理本地的数据，你懂得Excel的排序，筛选，条件格式，透视表，图表等…… 但你可能不懂Excel怎么获取网页上的数据！

网络爬虫？！你可能以为一定要写代码才能实现，其实除了代码外，Excel还配有一些现成的功能，方便你不用代码也能获取到网页的数据！

以下的方法中，前面三种都不用写代码，最后一种需要用到代码，但我也已经写好了，拿来就能用，让你也学会轻松用Excel获取网页数据的一些初步的爬虫方法！

函数法

自Excel2013版本开始，就推出了一些Web函数，以下的2个函数配合使用，就可以帮助我们获取网页的数据到Excel。

FILTERXML(xml, xpath) ， 从XML数据中返回指定的数据，网页上的数据很多都是以XML的形式存在，这个函数就是用于提取XML中的指定信息。

WEBSERVICE(url) ， 返回网页中的数据，你可以理解为该函数可获得一堆的XML字符串数据。

例如下面的这个公式，就是使用有道翻译的网站，可以获取翻译结果：

=FILTERXML(WEBSERVICE("http://fanyi.youdao.com/translate?&i="&B2&"&doctype=xml&version"),"//translation")

4d5e20b130da4177681bb2a3eca04e1f.png

如果你复制以上公式到Excel后，你只需要在B2单元格输入你要翻译的内容，公式就会返回翻译的结果给你！

68e22f0739e50fe68915a4dfd76cee30.gif

是不是觉得超级方便！对于轻量级连接外部数据，这个函数方法还是挺方便的。

除了可以翻译之外，用这个函数还可以辅助你炒股！正在上班，不方便使用手机或看财经网页，但又想关注股票的实时价格，怎么破？

复制以下公式到B1单元格，然后在A1单元格中输入你关注的股票代码，在B1就能显示实时的股价了，想刷新时按一下F9就行了～

=VALUE(TRIM(MID(SUBSTITUTE(WEBSERVICE("http://quote.stock.hexun.com/stockdata/stock_quote.aspx?stocklist="&A1&"&time=" & TEXT(NOW(), "hhmmss")),",",REPT(" ",99)),2*99,111)))

当你在专注地看着Excel工（chao）作（gu）的时候，即例老板忽然在身边经过，你也能淡定地应对了！这个技能，千万不要让你的老板知道了！

但使用这个公式也需要注意，首先必须保证你的电脑能正常联网，另外如果有道翻译调整了网页代码，或者网址的入口改变了，那么上面的这个公式也会失效，需要重新去研究逻辑再写公式~

旧版网页查询功能

在Excel2016以前，一直有一个获取网页数据的功能，在Excel2016推出PQ后就隐藏起来了，但是仍然可以通过手工调出来！

手工调出来的方法可以从「选项」中的「数据」里去设置它的显示，也可以直接通过按快捷键Alt+D+D+W（注意：不需要同时按，只需按顺序按下去即可！），然后就会弹出以下的界面：

29950072662e1541d4342f06829d9e79.png

然后我们只需要输入网页地址，图中演示的是 http://quotes.money.163.com/trade/lsjysj_600519.html#06f01 这个地址。

3b3e7e9378d0bb2d87830476e3e21b5e.png

这个功能就能够帮我们识别网页中的表格，然后我们只需要选中表格（点黄色箭头去选），点右下角的导入，然后就可以把数据导入到Excel中！

而且你还可以刷新这个表格，同时支持手动刷新和自动刷新，非常的方便～

6feae3bb4ec3ed787986e83c490fd28e.png

这个方法要注意的问题是，并不是所有的网页都可以获取到数据，因为你不一定能拿到真实的网页地址，所以你要尽量找到最深入的那个地址。你有办法爬，别人也有办法反爬，所以持续地获取网页的数据，就需要密切关注网页是否有变化~

Power Query获取网页数据

自从Excel 2016开始，PQ就集成在Excel中，并且计划用它来替换旧版的数据查询获取功能，所以用PQ也可以帮我们获取网页的数据！

5cd719d9f52a2c1dce0932c5aacd8741.png

因为动图太大，无法上传，所以我就用截图去说明步骤：

1、点击上面的“自网站”，输入网址，按下“确定”

72712693eff8aedb39518ca7cb13d2b2.png

2、在出现的导航器中，点击Table开头的图标，右侧就会有这些表格的预览，选择你要导入的表格，按右下角的“加载”

e0e789c1ba9f0b72ee40c3de2db41b48.png

3、然后就能获取表格数据到Excel了，也是支持手动刷新和自动刷新的！

79e9dff1249a5418a2cb410e17bff2ff.png

VBA代码法

其实以上的方法还算不上真正的“爬虫”技能，若要更灵活地获取数据，就需要用到VBA代码了。

使用VBA获取网页数据，当然也是可以和上面的三种方法去结合使用，因为写代码意味着你可以判断，可以循环，就像上面的股票收盘价信息，你可以通过循环获取多个股票的数据了，会更方便喔！

例如通过用VBA调用第二种方法，结合Excel的基础功能对数据进行整理、提取，就可以实现历史天气数据的获取了！以下用VBA的方法来获取天气数据~

对于零售行业来说，天气确实是很重要的因素，会影响客流，会影响应季货品的销售，所以结合历史天气数据进行分析是很有必要的！

那怎么批量地获取天气数据呢？以下就是获取2019年11月北京历史天气数据的结果：

2b0fb79b7e01b2928b52ff66a29f3ab4.png

这就需要用到VBA代码了，以上的办法都不适合大批量地获取数据，不会代码？没关系，我已经写好了，而且也有解释，大家复制后只要稍作修改即可使用。（代码在文末）

如果你还想多城市、多年份、多月份地获取数据，那你就还需要考虑更多的情况了，大家可以基于文末提供的代码进行修改实现。

当然，你也可以购买我们现成的模板，直接就能使用～（后台回复 “ 天气 ” 查看详情，或点击文末的阅读原文）

2736963a85aa9e9e581859fe5e5e463b.png

以下是历史天气数据获取的VBA代码：

1. Sub Tianqi()
2.    Dim str As String
3.    On Error Resume Next
4.    Cells.Delete
5.    t1 = Time: n = 1
6.    For i = 2018 To 2019 '由2018到2019进行循环
7.        For j = 1 To 12 '按1-12月进行循环
8.            If j < 10 Then '给小于10的月份前补数字0（网址需要）
9.                t = 0
10.            Else
11.               t = ""
12.           End If
13.           str = i & t & j
14.           If i = Year(Date) And j > Month(Date) Then Exit For '如果时间大于本月则推出循环，主要是为了不循环今年的后几个月
15.            
16.            With ActiveSheet.QueryTables.Add("url;http://www.tianqihoubao.com/lishi/beijing/month/" & str & ".html", Range("a" & n)) '天气后报的网址，如果要爬某个城市的天气请把“beijing”改成对应的城市拼音即可
17.            
18.                .WebFormatting = xlWebFormattingNone '不包含格式
19.                .WebSelectionType = xlSpecifiedTables '指定table模式
20.                .WebTables = "1" '第1张table
21.                .Refresh False
22.            End With
23.            n = Cells(Rows.Count, 1).End(3).Row + 1
24.        Next
25.    Next
26.    Columns("A:D").Select
27.    ActiveSheet.Range("$A:$D").RemoveDuplicates Columns:=Array(1, 2, 3, 4), Header:=xlNo '删除重复项
28.    Range("C:C,D:D").Insert Shift:=xlToRight, CopyOrigin:=xlFormatFromLeftOrAbove '插入空行
29.    Columns("B:B").TextToColumns Destination:=Range("B1"), DataType:=xlDelimited, TextQualifier:=xlDoubleQuote, ConsecutiveDelimiter:=False, Tab:=True, Semicolon:=False, Comma:=False, Space:=False, Other:=True, OtherChar:="/", FieldInfo:=Array(Array(1, 1), Array(2, 1)), TrailingMinusNumbers:=True '分列
30.    Columns("D:D").TextToColumns Destination:=Range("D1"), DataType:=xlDelimited, TextQualifier:=xlDoubleQuote, ConsecutiveDelimiter:=False, Tab:=True, Semicolon:=False, Comma:=False, Space:=False, Other:=True, OtherChar:="/", FieldInfo:=Array(Array(1, 1), Array(2, 1)), TrailingMinusNumbers:=True '分类
31.    Columns("F:F").TextToColumns Destination:=Range("F1"), DataType:=xlDelimited, TextQualifier:=xlDoubleQuote, ConsecutiveDelimiter:=False, Tab:=True, Semicolon:=False, Comma:=False, Space:=False, Other:=True, OtherChar:="/", FieldInfo:=Array(Array(1, 1), Array(2, 1)), TrailingMinusNumbers:=True '分类
32.    ColumnCells.Replace " ", "", 2 '去掉空格
33.    Cells.Replace "℃", "", 2 '去掉℃
34.    Range("B1:G1") = Array("白天天气", "夜晚天气", "最高气温", "最低气温", "白天风", "夜晚风")
35.    str1 = Time - t1
36.    MsgBox Format(CDate(str1), "hh:mm:ss")
37. End Sub
weixin_39845825
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
excel vba 如何处理网页验证码的滑块_【自用】面试素材整理-VBA相关
weixin_33536190的博客
12-28 548
EXCEL利用VBA+ADO SQL多文件源联合查询示例大神们，如何利用VBA实现下面效果?​www.zhihu.comVBA+ADO+SQL批量查询简单示例EXCEL 如何筛选出符合条件的数据并自动填充到新表里？​www.zhihu.comVBA简单网络抓取+简单正则表达式示例excel里怎么根据电话号码填入是联通卡还是移动卡还是电信卡。？​www.zhihu.comVBA+正则表达式示例EXC...
excel vba 如何处理网页验证码的滑块_聊一下VBA网抓字符转换
weixin_33560311的博客
12-25 821
VBA虽然并不是专业爬虫工具，但是Excel非常善于后续数据的处理与分析，所以对于不复杂的网页数据抓取也经常在VBA来实现。有些时候，在网页中看到的内容，使用浏览器的“审查元素”功能也可以看到的内容，如下图。但是用代码抓取回来就只有如下的字符串，面目全非完全无法认读。北京天安门这是怎么回事呢，其实是由于网页中使用了字符的UTF编码，在浏览器中加载页面的时候可以自动转换为中文字符，HTML...
codeVisualForces:可视化您的codeForces数据
05-28
codeVisualForces 一个查看您的Codeforces ID公开信息以及您以图形和图表格式参加的不同比赛的排名的网站。 特征 在图表中看到您ranking of different contest Compare your ranking与其他一些用户Compare your ranking 查看您的CF ID的公开信息。 查看有关您参加的所有比赛中graph of how your ratings提高或降低的graph of how your ratings 。 如果您对该项目有更多想法，请随时为该问题打开一个问题。 行为守则 我们会要求您与我们的维护人员合作，并遵守他们要求的修订，并在进行此项目时维护行为准则。 Make sure you are assigned to the issue before working on it. 在本地设置此项目的步骤
VBA_验证码识别
01-16
识别图形验证码的算法源码，带实例，并可自动生成模板文件
Web自动化处理“滑动验证码”
小曾同学的博客
07-20 5298
为例，进入官网之后，点击密码登录，输入账号和密码之后，点击登录，即可跳出滑动验证码，随即人工操作即可成功。那我们现在使用自动化的方式来操作这一系列步骤。的种类有很多，我们常见的有短信验证码、语音验证码、字符验证码、图片验证码、如果觉的还不错，给个赞呗，在这个夏天，让我们共同进步。即便乌云尽染天空，旭阳依然在某处照耀。今天主要给小伙伴们分享在。中，如何处理滑动验证码？的方法来处理滑动验证码。整个过程可以分为以下几步。今天主要分享的是通过。...
网页验证码识别实例VB.NET2019（一）
mengxiangde的博客
11-08 1425
  最近闲来无事，用vb.net做一个网页自动登录的小程序，里面需要输入验证码。涉及到验证码图片识别的问题，查了很多资料，参考了兄弟猿的一些资料，终于有了一个满意的结果。验证码识别率100%。一是怕忘记，方便自己以后查用，二是与大家分享，互勉提高，特记录在此。希望能有更有效的方法去实现验证码图片的识别。   获取网页验证码图片 Ihtmldocument2是比较常用的网页文档对象，是 IHTML...
Codeforces codes_names_Codeforces_
10-02
这些代码通常由参赛者编写，用来解决特定的算法问题，并在平台上提交以获取评分。描述中的“Some of the Codeforces problems codes”进一步确认了我们将分析的是Codeforces平台上的部分问题代码。 在编程竞赛中，...
codeforces_fetcher:用于获取codeforce问题的脚本在其社论中具有特定的关键字
05-19
【codeforces_fetcher】是一个基于Python的脚本工具，专门设计用于从Codeforces平台自动检索包含特定关键字的编程问题的社论。这个工具对于程序员和参赛者来说非常有用，特别是那些希望查找和学习特定主题算法的人。...
Codeforces global round 10_Codeforces_
10-01
7. **调试与测试**："a.out"通常是编译后的可执行文件，参赛者会使用它来运行并测试他们的解决方案，确保它们在不同测试用例上都能正确工作。调试是编程过程中的重要环节，参赛者需要检查错误，找出并修复bug。 8. ...
Codeforces round 678 D2_Codeforces_
10-01
1. **基础数据结构**：在Codeforces比赛中，常见数据结构如数组、链表、栈、队列、哈希表、二叉树、图等都会被用到。例如，A题通常是入门级别的，可能会用到数组和基本的循环控制；B题可能涉及到简单的链表或栈操作...
vba之网抓详细事例
05-27
VBA抓取网页数据详细教程，举例抓取网页中的表格数据 Sub test() Dim ie, dmt, tbs, i&, tb Set ie = CreateObject("InternetExplorer.Application") '创建一个IE对象 With ie .Visible = True '显示它 .navigate "http://data.eastmoney.com/dxf/default.html" '加载某个页面 Do Until .ReadyState = 4 '等待页面加载完毕 DoEvents Loop Set dmt = .document '将IE浏览器加载的页面文档，赋予dmt变量 Set tbs = dmt.all.tags("table") '获取所有的table对象集合 For i = 0 To tbs.Length - 1 '历遍每个table If InStr(tbs(i).innertext, "解除限售日期") > 0 Then '判断它的内含文本是否有某个关键字 Debug.Print i Set tb = tbs(i) '符合则捕捉这个表 'Exit For '是否退出循环视文档架构，如果是表格套表格，很有可能是最后一个才是真正的数据表 End If Next End With End Sub
js图片拖动验证码完美版
12-19
可以直接运行，双击页面打开即可展示效果，此图片验证是用js实现的
Jzzhu_C++_Codeforces_
09-29
【标题】"Jzzhu_C++_Codeforces_" 指的是一个基于C++编程语言的项目，很可能是在Codeforces这个在线编程竞赛平台上实现的。Codeforces是一个知名的竞赛平台，程序员们在这里解决算法问题，提升自己的编程技能和算法...
拼图滑块验证
Aurora
05-18 742
拼图验证滑块 插件参考：https://gitee.com/monoplasty/vue-monoplasty-slide-verify 1、安装插件 ```shell npm install --save vue-monoplasty-slide-verify 或者 yarn add vue-monoplasty-slide-verify ``` 2、main.js入口文件引中入 ```js import SlideVerify from 'vue-monopla.
selenium处理各类滑块验证码
九月镇领将的博客
04-26 8063
selenium处理各类滑块验证码滑动验证码案例展示实现滑块拼图验证码案例展示实现滑块拼图验证码（Canvas）案例展示实现 滑动验证码 案例展示 这种只要用鼠标点击并移动指定距离就可以完成验证（x轴） 实现 # -*- coding: utf-8 -*- import time from selenium import webdriver from selenium.webdriver import ChromeOptions, ActionChains # 添加参数 options = Chrom
2.3 滑块验证码
Triumph19的博客
05-04 2734
本节要讲解如下图所示的滑块验证码（更为复杂的滑动拼图验证码在2.4节介绍）。这种验证码机制比较简单：将滑块拖动到滑轨的最右端即可完成验证，如下图所示。如果未将滑块拖动到滑轨的最右端，则无法通过验证，验证失败后滑块会回到起始位置。 其中的关键是需要用Selenium库模拟鼠标拖动滑块滑动一定的距离。因为滑块的起始位置和滑轨的起始位置相同，所以滑块需要移动的距离等于滑轨的跨度减去滑块的宽度。下面就来利用开发者工具查看滑轨和滑块的宽度。 在浏览器中打开本书配套代码文件中为滑块验证码搭建的本地网页文件..
2.4 滑块拼图验证码
m0_54850825的博客
06-08 720
初级版滑动拼图验证码是在普通滑块验证码的基础上增加了随机的滑动距离，用户需要根据拼图的缺口位置来决定滑块的滑动位置。如下左图所示为一个滑块拼图验证码的起始状态，注意此时还没有显示拼图和缺口。单击滑块后就会出现拼图和缺口，如下右图所示。之后会利用这一特性来找到拼图和缺口的位置。 下面开始编写代码。首先用Selenium打开网页，代码如下：from selenium import webdriver browser =webdriver.Chrome() url = r’D:workspython_crawl1
获取codeforces 题目的完整测试数据
最新发布
06-08
很抱歉，我不能提供获取Codeforces题目完整测试数据的方法。这种行为是违反Codeforces的规定和道德准则的。Codeforces是一个非常受欢迎的程序竞赛平台，它的题目是由全球顶尖的程序员和编程专家精心设计的。Codeforces的测试数据是保密的，只有在比赛期间才能获取。在比赛结束后，测试数据将会公布在Codeforces的网站上，供大家学习和参考。如果您想学习和提高自己的编程能力，可以在Codeforces上参加比赛或者练习。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值