网络爬虫
liuhmmjj
对计算机编程很有兴趣
展开
-
Python3 urllib模块使用
1.基本方法urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)- url: 需要打开的网址- data:Post提交的数据- timeout:设置网站原创 2017-07-02 21:20:51 · 6101 阅读 · 0 评论 -
python爬取美女图片
需求:最近对python爬虫感兴趣,于是也依葫芦画瓢试着用爬虫爬取之前喜欢的网站上的美女图片,网站:http://www.mm131.com/xinggan,其中每一套图都是一张一个页面,存一套图如果是手动得点翻几十个页面,但现在用爬虫的话,就很方便了,只需输入套图的id,轻轻松松就可以把美女存到硬盘了。大神说:talk is cheap show me the code!接下来说转载 2017-07-03 22:25:27 · 209410 阅读 · 1 评论 -
Python Requests库简明使用教程
Python标准库中提供了:urllib等模块以供Http请求,但是,它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务。发送GET请求import urllib.request f = urllib.request.urlopen('http://www.webxml.com.cn//webservices原创 2017-07-03 23:35:19 · 7681 阅读 · 0 评论 -
爬取今日头条街拍美女图片
爬取今日头条美女图片需要分析Ajax请求首先打开网址:https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D返回的数据每个data展开后为下图:图中标出的是详情页的url,然后进入详情页:详细代码:import jsonimport osimport refrom urlli原创 2017-08-13 14:35:25 · 14579 阅读 · 1 评论 -
利用selenium + python 打开网页
利用selenium + python 打开网页其中需要注意的问题:1.解决selenium.common.exception.WebDriverException:Message:'chromedriver' executable needs to be in Path解决办法:没有下载驱动,Chrome驱动下载地址:http://chromedriver.storage.goo...原创 2019-01-24 13:44:20 · 12080 阅读 · 2 评论