莫忘

花罚拾年,莫敢相忘

【干货】xpath语法学习记录

Python Xpath语法节点 xpath(‘//div’):选取所有div节点,并包含它所有的子节点; xpath(‘x/div’):选取 x 节点的下一层所有div节点,若 x 没有则从根节点开始; xpath(‘x/..’):选取 x 节点的父节点; xpath(‘div/text()’)...

2017-07-26 17:59:22

阅读数:357

评论数:0

【干货】requests的使用方法

Requests is an elegant and simple HTTP library for Python, built for human beings. 两个重要的方法:get和postrequests.get()语法r = requests.get(url, params={}, ...

2017-07-26 17:58:57

阅读数:2506

评论数:0

python爬虫中的mongo实践

本次使用requests作为http请求工具,获取小说封面的方式采用爬虫分类型、分页爬去小说封面地址,向图片的原地址发送http的get请求,获取response的content就是图片的二进制数据了,本次存储图片的方式并采用系统自带的文件系统,而是使用mongodb的GridFS

2017-01-18 14:57:33

阅读数:1555

评论数:0

基于BeautifulSoup解析的网页爬虫实现

目标爬去cnkongqi.com上的气象数据,cnkongqi.com站点上包含全国每个城市的天气,空气质量等数据,这些数据每小时都会进行更新。我的目标是要将该站点的某一时间的气象数据全部抓取下来,并保存到数据库。本次爬虫编写语言选用python,由于在下对python是小白,所以这个爬虫程序可以...

2016-12-28 22:03:47

阅读数:582

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭