![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
python爬虫
爬虫
0流云0
如果五年内专注某个领域,五年后你能否成为专家?如果能,为何现在不行动?欲戴王冠,必承其重!
展开
-
Element 对象转化html
https://blog.csdn.net/qq_22592457/article/details/95490976原创 2021-06-25 17:12:22 · 1653 阅读 · 0 评论 -
xpath无法定位tbody的规避方法
//*[@id="main-panel"]/div/table/tbody/tr[1]/td[2]一直定位不到tbody标签,一直输出为空修改成://*[@id="main-panel"]/div/table//tr[1]/td[2]原创 2021-06-25 16:32:34 · 983 阅读 · 0 评论 -
网络请求与网页组成
一、网络请求过程1、通过URL查找服务器ip根据网址(URL)通过DNS(域名系统协议)找出服务器ip。浏览器先访问本地Host文件(即本地域名服务器),检查文件是否有与域名匹配的ip,如果有则直接访问ip对应的服务器,否则,向上层DNS服务器查询,如果还没有则一直往上查询,直到根服务器。查询方式分为:递归查询(较少)、迭代查询递归查询:迭代查询:...原创 2019-11-26 22:55:46 · 249 阅读 · 0 评论 -
爬虫简介
一、什么是爬虫 爬虫,即网路爬虫,又叫网络蜘蛛(web spider),是一种按照特定规则去自动浏览网页并抓取网页数据的程序。二、组成部分爬虫:模拟请求、解析数据、数据保存1、模拟请求(即伪装成人去浏览网页,防止被某些网站的反爬虫机制识别出而被拒绝访问)请求头的User-Agent、Host、Referer、cookie\session、验证码、加密规则、反爬机制2...原创 2019-11-26 22:11:40 · 164 阅读 · 0 评论