![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python爬虫
MR.ILen
自信,幽默,有信心的IT人!
展开
-
Python爬虫_模拟浏览器访问-Requests
有时候爬虫需要加入请求头来伪装成浏览器,以便更好的抓取数据.打开浏览器Chrome找到User-Agent进行复制#!/usr/bin/python# -*- coding: utf-8 -*-#Author: zhaosjimport requestsheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; ...原创 2019-11-14 09:17:54 · 1377 阅读 · 0 评论 -
Python爬虫三大库
Python爬虫三大库:Requests、Lxml、BeautifulSoup#!/usr/bin/python# -*- coding: utf-8 -*-#Author: zhaosjimport requestsres = requests.get( 'https://www.xiaozhu.com/' )print(res)#执行后的返回结果:...原创 2019-11-14 09:17:42 · 332 阅读 · 0 评论 -
Python爬虫原理和网页构造
###爬虫原理###计算机的一次Request请求和服务器端的Response回应,即实现了网络连接。Request(请求头和消息体)-------------------------------------------------------> 【计算机】 【服务器】<------------------------...原创 2019-11-14 09:17:26 · 157 阅读 · 0 评论 -
爬虫-多重循环构造URL列表数据
#!/usr/bin/python# -*- coding: utf-8 -*-#Author: zhaosj###多重for循环构造出列表数据####通过多重循环构造出13页URL的列表数据urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,1...原创 2019-11-13 11:28:40 · 670 阅读 · 0 评论