![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
初叙
这个作者很懒,什么都没留下…
展开
-
爬虫初识及PyCharm的安装
一、关于爬虫爬虫是按照一定规则自动抓取万维网信息的程序或脚本,运行速度极快。因此可以使用爬虫来收集大量数据。使用Python作为爬虫的开发语言,因为Python语法简单、入门容易。Python爬虫架构主要由五个部分组成(调度器、URL管理器、网页下载器、网页解析器、应用程序(爬取的有价值数据))1)调度器:相当于一台电脑的CPU,主要负责调度URL管理器、下载器、解析器之间的...原创 2019-03-24 21:56:30 · 295 阅读 · 0 评论 -
关于网页请求头
(1)打开网页以:http://bj.xiaozhu.com/为例(2)F12打开开发人员工具(3)刷新一下(4)点击Network(5)在Name下找到网址选项(6)点击Headers最下面就是User-Agent...原创 2019-04-13 17:32:28 · 473 阅读 · 0 评论 -
Requests库简单介绍
爬虫三大库——Requests、Lxml、BeautifulSoupRequests库的官方文档指出:让HTTP服务于人类。Requests库的作用就是请求网站获取网页数据的。(一)打印网页源代码#获得网页的源代码import requestsres = requests.get('http://bj.xiaozhu.com/')#网站为小猪短租北京地区网址print(res)...原创 2019-04-13 17:56:59 · 12389 阅读 · 0 评论