![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python爬虫
MR.ILen
自信,幽默,有信心的IT人!
展开
-
Python爬虫_模拟浏览器访问-Requests
有时候爬虫需要加入请求头来伪装成浏览器,以便更好的抓取数据. 打开浏览器Chrome找到User-Agent进行复制 #!/usr/bin/python # -*- coding: utf-8 -*- #Author: zhaosj import requests headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; ...原创 2019-11-14 09:17:54 · 1337 阅读 · 0 评论 -
Python爬虫三大库
Python爬虫三大库:Requests、Lxml、BeautifulSoup #!/usr/bin/python # -*- coding: utf-8 -*- #Author: zhaosj import requests res = requests.get( 'https://www.xiaozhu.com/' ) print(res) #执行后的返回结果: ...原创 2019-11-14 09:17:42 · 323 阅读 · 0 评论 -
Python爬虫原理和网页构造
###爬虫原理### 计算机的一次Request请求和服务器端的Response回应,即实现了网络连接。 Request(请求头和消息体) -------------------------------------------------------> 【计算机】 【服务器】 <------------------------...原创 2019-11-14 09:17:26 · 151 阅读 · 0 评论 -
爬虫-多重循环构造URL列表数据
#!/usr/bin/python # -*- coding: utf-8 -*- #Author: zhaosj ###多重for循环构造出列表数据### #通过多重循环构造出13页URL的列表数据 urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,1...原创 2019-11-13 11:28:40 · 657 阅读 · 0 评论