Python爬虫
Ivan.J
可恶,被你装到了!
展开
-
Python爬虫之四:使用BeautifulSoup爬取微博热搜
利用Python爬取微博热搜(一)安装BeautifulSoup模块目前,Beautiful Soup 的最新版本是 4.x 版本,之前的版本已经停止开发了。这里推荐使用 pip 来安装,安装命令如下:pip install beautifulsoup4(二)BeautifulSoup的介绍BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。BeautifulSoup 会帮你节省数小时原创 2020-11-09 14:03:41 · 2703 阅读 · 0 评论 -
Python爬虫之二:使用requests模块
Python实现爬虫的文件上传、下载,以及同一会话(一)安装requests模块对于python2,直接在命令行输入pip install requestsPython3的话,在命令行输入pip3 install requests如果你使用的电脑只使用了一个版本的Python程序的话,当然只需要使用pip 的命令就好了(二)Python代码的实现代码如下所示...原创 2019-07-08 11:22:24 · 153 阅读 · 0 评论 -
Python爬虫之一:获取简单的网页源代码
代码可实现获取简单的网页源代码,包括简单的登录、代理、cookies的使用import urllibimport socketfrom urllib import request, parsefrom urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener, Pr...原创 2019-07-03 10:24:37 · 2372 阅读 · 0 评论 -
Python爬虫之三:使用requests模块动态爬取微博评论
上个月的时候,周杰伦发了新歌,微博上话题不断,于是博主就想看看大家对于新歌及其MV的看法是怎样的,那怎么获取这些观点呢?经过思考,博主决定使用Python爬虫的方法,获取几个热评的博文进行抓取,把评论抓取下来。抓取其中一条微博评论的代码如下import requestsimport reimport randomimport timeimport codecsfrom json i...原创 2019-10-08 11:40:06 · 1630 阅读 · 4 评论