python
uziwz_
python爱好者
展开
-
requests库的用法
requests介绍 requests库是python优秀的第三方http请求库,使用起来简洁强大,需要额外安装。 可使用pip工具安装 : pip install requests 基本用法 请求网页 import requests response = requests.get("https://www.baidu.com") 仅需简单一步便可实现各种方法的请求(还有post(), p...原创 2019-08-21 11:07:00 · 180 阅读 · 0 评论 -
urllib库的基本使用
urllib库介绍 urllib是python3内置的HTTP请求库,包含request,error,parse,robotparser四个基本模块,分别用于发送请求,异常处理,URL解析处理,识别robots协议。 request模块 urlopen() 方法 urlopen(url, data=None, [timeout,]*, cafile=None, capath=None, cad...原创 2019-08-21 15:14:51 · 189 阅读 · 0 评论 -
爬取京东商品用户评论
爬取京东商品用户评论 前言 今天逛京东时眼盯着心心恋恋的macbookpro看了好久,烦躁于翻评论的枯燥时,便想随便爬一点评论一起看,于是编写了一个小爬虫,具体思路如下。 分析 首先打开京东并翻到了我想看的macbookpro的用户评论页面 直接打开网页源代码发现什么也没有,然后一番分析后,发现页面是由js处理过的,F12检查网页,定位到js一栏,果然发现请求接口 实现 请求 既然发现...原创 2019-09-03 23:07:35 · 505 阅读 · 0 评论 -
XPath库的用法
XPath解析库的基本用法 XPath介绍 XPath全称XML Path Language(XML路径语言),是一门在XML文档中查找信息的语言,同样可查找HTML文档. 所以在写爬虫时可使用XPath来做相应的信息提取. (使用XPath需安装lxml库) XPath常用规则 // 从当前节点选取子孙节点 / 从当前节点选取直接子节点 . 选取当前节点 … 选取当前节点的父节点 @ 选取...原创 2019-09-05 15:56:10 · 645 阅读 · 0 评论 -
爬虫自动抓取壁纸
爬虫自动抓取壁纸 最近发现电脑桌面屏保需要大量壁纸来轮换,可是电脑里并没有这么多图片,于是决定写个小爬虫抓一点壁纸来用.在网上随便翻了个壁纸网站,就开干了. 爬虫用到了python的requests库和lxml库,需要额外安装. 分析过程 首先打开网站的主页面,可以看到有许多的图片,我比较喜欢风景图,于是切换到风景选项. 点击进入某个图片,并查看该页面的源代码 很容易看到,图片的url地址就...原创 2019-09-06 11:14:07 · 981 阅读 · 1 评论