爬虫
文章平均质量分 77
yscoder
欢迎关注 大数据与数据仓库公众号
展开
-
雪球 feed流爬虫
雪球是一个什么样的网站?雪球股票,聪明的投资者都在这里 - 雪球提供沪深港美股票实时行情、实战交流、实盘交易。雪球的Feed流样式如上图所示为用户为从雪球首页截取出来的信息流,从图中可以看出雪球的信息流包含如下几个模块:头条 直播 沪深 房产 港股 基金 美股 私募 汽车 保险雪球首页的信息流采用XML请求进行数据的异步加载,其请求地址为feed流请求地址,该请求中包含着几个重要的参数,分别如下:since_id : 信息流数据所请求的新闻起始id max.原创 2020-12-01 09:05:37 · 1153 阅读 · 0 评论 -
趣头条爬虫(以财经频道为例)
相比于"今日头条"App, 大家可能对"趣头条"的了解少了很多,趣头条App作为一款以"阅读有奖"来吸引阅读的新闻类app,用户群体很大.趣头条的首页如下,与其他内容类App大同小异,即包含列表页(样例地址)和详情页样例地址.首先定义需要抓取的列表页地址bash_url = 'http://api.1sapp.com/content/outList?cid='mid_...原创 2019-11-17 19:02:11 · 641 阅读 · 0 评论 -
HTTP协议详解(很经典)
什么是HTTP协议?下面摘自维基百科:超文本传输协议(英文:HyperText Transfer Protocol,缩写:HTTP)是互联网上应用最为广泛的一种网络协议。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。通过HTTP或者HTTPS协议请求的资源由统一资源标识符(Uniform Resource Identifiers,URI)来标识。 HTTP的发展是由蒂姆·伯纳斯-转载 2017-08-13 21:41:22 · 450 阅读 · 0 评论 -
「雪球」新闻feed流爬虫!
原创文章,转载请注明出处雪球是一个什么样的网站?雪球股票,聪明的投资者都在这里 - 雪球提供沪深港美股票实时行情、实战交流、实盘交易。雪球的Feed流样式如上图所示为用户为从雪球首页截取出来的信息流,从图中可以看出雪球的信息流包含如下几个模块:头条直播沪深房产港股基金美股私募汽车保险雪球首页的信息流采用XML请求进行数据的异步加载,其请求地址为 feed流...原创 2018-11-08 21:54:24 · 1039 阅读 · 2 评论