Python3爬虫
文章平均质量分 72
TM0831
博客园:https://www.cnblogs.com/TM0831/
GitHub:https://github.com/TM0831
展开
-
【Python3爬虫】豆瓣《我不是药神》短评
工具:Python3+Pycharm+Chrome使用到的模块:(1)requests:用来简单数据请求。(2)lxml:比BeautiSoup更快更强的解析库。(3)pandas:数据处理神器。(4)time:设置爬虫访问间隔。(5)random:生成随机数,配合time使用。(6)tqdm:显示程序运行进度。步骤:1、打开豆瓣电影《我不是药神》的短评网页,右键检查或者按F12,然后选择用户名和...原创 2018-07-11 12:15:13 · 2535 阅读 · 1 评论 -
【Python3爬虫】有道翻译
准备:Python3.5+Chrome+Pycharm步骤:(1)打开有道翻译的网页,然后鼠标右键检查(或者按F12),再输入一个单词(例如book),在XHR选项中可以看到这条信息,也就是说我们要利用post把要翻译的内容发送出去,然后再获取返回的信息,就能得到翻译的结果了。(2)打开Pycharm,新建一个test.py,代码如下:import requestsdef main(): ...原创 2018-06-16 19:30:02 · 1432 阅读 · 1 评论 -
【Python3爬虫】Scrapy入门教程
Python版本:3.5 系统:Windows 一、准备工作需要先安装几个库(pip,lxml,pywin32,Twisted,pyOpenSSL),这些都比较容易,如果使用的是Pycharm,就可以更方便的安装模块,在settings里可以选择版本进行下载。如果在命令行模式下输入pip -V出现 'pip' 不是内部或外部命令,也不是可运行的程序或批处理文件...原创 2018-07-25 21:33:40 · 812 阅读 · 0 评论