![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据挖掘
Rambo.Fan
眼中有阳光,风雨不阻行
展开
-
GlidedSKY-之八:JS1
挑战网址:http://glidedsky.com/level/crawler-javascript-obfuscation-1哦,之前是网站JS加密源数据中数据是乱的,现在正常了,这教程没法写了啊挑战难度:★★★★★★★☆☆☆喜欢折腾代码的加群(群号:822286811)一起交流学习【python、VBA、Shell、Linux、dos、爬虫、拆机、装系统技术交流群】,点击链接加入群聊...原创 2019-07-20 13:20:27 · 457 阅读 · 2 评论 -
Tushare库之日线行情
接口:daily更新时间:交易日每天15点~16点之间调取说明:每分钟内最多调取200次,超过5000积分无限制描述:获取股票行情数据,或通过通用行情接口获取数据,包含了前后复权数据.输入参数名称 类型 必选 描述 ts_code str N 股票代码(二选一) trade_date str N 交易日期(二选一) s...原创 2019-08-01 23:21:24 · 1744 阅读 · 0 评论 -
分享几个金融相关的网站
1、中国货币网:http://www.chinamoney.com.cn/chinese/2、Tushare金融大数据社区:https://tushare.pro/3、新浪财经网:https://finance.sina.com.cn/4、中国债券信息网:https://www.chinabond.com.cn/5、中国银保监会:http://www.cbirc.gov.cn/cn...原创 2019-08-03 00:03:36 · 5790 阅读 · 0 评论 -
金融数据接口tushare
Tushare金融大数据开放社区免费提供各类金融数据和区块链数据 , 助力智能投资与创新型投资。特点:a)数据丰富:拥有丰富的数据内容,如股票、基金、期货、数字货币等行情数据,公司财务、基金经理等基本面数据。b)获取简单:SDK开发包支持语言,同时提供HTTP Restful接口,最大程度方便不同人群的使用c)落地方便:提供多种数据储存方式,如Oracle、MySQL,Mong...原创 2019-06-23 18:52:02 · 1502 阅读 · 0 评论 -
GlidedSKY-之二:基础2
挑战网址:http://glidedsky.com/level/crawler-basic-2题目介绍挑战难度:★★★☆☆☆☆☆☆☆爬取的网页变成里1000页:http://glidedsky.com/level/web/crawler-basic-2?page=1需要注意点:本题没有什么难点,只需要注意需要登陆使用cookie以及网址变换规律,跟第一关比只是多了一个循环。思路:先对...原创 2019-06-21 12:02:35 · 374 阅读 · 0 评论 -
GlidedSKY-之四:IP屏蔽2
挑战网址:http://glidedsky.com/level/crawler-ip-block-1题目介绍大家说,页面做分页是因为单页内容太多。但分页还有一个不为人知的好处——用来反爬。当一个爬虫尝试不断翻页爬取所有内容的时候,行为特征会非常容易识别。比如说,对高频率访问的IP进行封禁。因为这是一个硬核的爬取攻防练习,常规高频封禁太弱了,所以这里的策略是:你的每个IP,只能访问一次,之后...原创 2019-06-21 12:01:58 · 404 阅读 · 0 评论 -
GlidedSKY-之五:字体1
挑战网址:http://glidedsky.com/level/web/crawler-font-puzzle-1题目介绍字体文件本质上是从字符到图像的一个映射。比如字符0,浏览器会从字体文件当中找到0这个字符对应的图像,然后展示出来。如果字符0展示并不是0的图像是1的图像呢?这也就意味着爬虫拿到的是字符0,但是人看到的却是图像1。而我们知道,一切从字符到图像的映射,都可以用来反爬。这里...原创 2019-06-21 12:01:22 · 738 阅读 · 1 评论 -
GlidedSKY-之六:CSS
挑战网址:http://glidedsky.com/level/crawler-css-puzzle-1题目介绍CSS可以排版出精美的页面;CSS也可以通过各种操作,使得用户最终看到的内容和HTML源码的内容千差万别。正所谓每天一道反爬题,轻轻松松学前端。让我们通过一些基本的CSS防爬手段,来巩固下大家的前端基础知识。这里有一个网站,分了1000页,求所有数字的和。注意,是人看到的数字哦~...原创 2019-06-21 12:00:18 · 501 阅读 · 0 评论 -
GlidedSKY-之七:验证码
博主还在研究,等做出来再来分析喜欢折腾代码的加群(群号:822286811)一起交流学习【python、VBA、Shell、Linux、dos、爬虫、拆机、装系统技术交流群】,点击链接加入群聊【计算机技术交流】:https://jq.qq.com/?_wv=1027&k=5V7RB2c...原创 2019-07-20 13:20:03 · 667 阅读 · 0 评论