爬虫
文章平均质量分 81
IT源
虚心学习
展开
-
爬虫中xpath的用法的一些实例
import requestsfrom lxml import etreeimport urllibimport urllib.requestimport osurl = 'http://sc.chinaz.com/tupian/shamotupian.html'x = '''/html/body/div[@class='all_wrap']/div[@class='index_only']/di...原创 2018-06-20 21:30:43 · 2703 阅读 · 0 评论 -
爬虫
1.网页都有自己唯一的URL(统一资源定位符)来进行定位。2.网页都使用HTML (超文本标记语言)来描述页面信息。3.网页都使用HTTP/HTTPS(超文本传输协议)协议来传输HTML数据。4. 首先确定需要爬取的网页URL地址5.通过HTTP/HTTPS协议来获取对应的HTML页面6. 提取HTML页面里有用的数据7.Python 语法优美、代码简洁、开发效率高、支持的模块多,相关的HTTP请...原创 2018-06-08 21:46:50 · 484 阅读 · 0 评论