- 博客(5)
- 收藏
- 关注
RSS订阅原创 GreenHand爬虫系列05——爬取Sina
本次是萌新爬虫的第五弹，鄙人来尝试爬取新浪新闻~~鄙人将再次使用XPath方法，可能有小伙伴嫌弃怎么方法还和上一次一样并对此次炒冷饭行为表示RNM退钱！但是注意了，此次并不是简单的新闻爬取，因为此次目标除了标题、发布时间等要素还包含了新闻正文段落！目标网址：https://mil.news.sina.com.cn/roll/index.d.html?cid=57918&page=1显而易见，参数page就是页码数。1.导入模块import jsonimport reimport
2021-11-02 21:02:58
123
原创 GreenHand爬虫系列04——爬取医院动态
本次是萌新爬虫的第三弹，鄙人来尝试爬取某医院官网动态。其中要使用XPath方法——XPath即为XML路径语言(XML Path Language)，它是一种用来确定XML文档中某部分位置的语言。XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。起初XPath的提出的初衷是将其作为一个通用的、介于XPointer与XSL间的语法模型。但是XPath很快地被开发者采用来当作小型查询语言。XPath最大的优点是极其适合下图所示具有完备结构化网页内容的爬取：官网网址：http://ww
2021-11-01 16:33:23
528
原创 GreenHand爬虫系列03——爬取B站弹幕
本次是萌新爬虫的第三弹，这回咱整个好活——爬取B站弹幕！！！因为本人也是高纯度萌新，涉及到的很多模块和方法都是高人指点的（生活不易菜鸡叹气）网址如下：https://www.bilibili.com看到眼花缭乱的弹幕很想统统爪巴下来是吧？别着急，且听下回分解（错乱）1.导入模块#爬取B站弹幕import bs4import pandasimport reimport requests2.保存文件file_name="越共探头.txt"#弹幕保存文件3.获取页面当打开
2021-10-29 23:35:25
601
原创 GreenHand爬虫系列02——爬取豆瓣排行榜
这次是萌新爬虫的第二弹，本次来尝试爬取豆瓣的TOP250电影排行榜。使用方法同上次一样，还是使用正则表达式。先进行踩点：网址如下：https://movie.douban.com/top250但是，但是中的但是！要想查看排行榜必须先登录：登录界面网址：https://accounts.douban.com/passport/login?source=movie众所周知，在每次登录后网站的Cookie都是不同的，如果每次都输入不同的Cookie未免也太麻烦了。怎么办呢？那当然是输
2021-10-28 20:05:20
290
原创 萌新爬虫系列01——爬取模型网站作品
萌新爬虫系列01——爬取模型网站作品这是萌新的第一个爬虫，也是萌新发布的第一篇文章。首先声明一下本萌新在过去一个月内短程突击学习了Python网络爬虫，在此提前一并对倾囊相授，传道授业解惑的各位大神大佬们表示真挚的感谢和崇高的敬意！！！萌新的第一个爬虫准备对某小众模型网站进行试验：静态模型爱好者网站链接：http://www.moxingfans.com，又有谁能想到咱也是个胶佬呢？点击作品，本次要爬取的是网站作品栏目下的作品名录：1.导入模块#使用正则表达式爬取静态模型爱好者作品impo
2021-10-27 20:46:45
1926
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人