爬虫技术
CATs_001
代码也能充满温情~
展开
-
【爬虫学习-01】爬虫环境配置
一、安装MongoDB(3.4.0) 首先在官网下载MongoDB:下载链接 下载完成后直接安装即可。 二、配置MongoDB 在安装目录下,新建Data\db文件夹,用来保存DB信息;新建Data\logs\mongo.log文件,用来记录日志信息: 接着需要切换到.\MongoDB\bin文件夹下启动命令: mongod --dbpath "your db flie ...原创 2019-06-01 17:02:36 · 352 阅读 · 0 评论 -
【爬虫学习-02】爬虫基本原理
什么是爬虫 请求网站并提取数据的自动化程序 基本流程 发起请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的Header等信息,等待服务器响应。 获取响应内容:如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能有HTML,Hson字符串,二进制数据(如图片视频)等类型。 解析内容:得到的内容可能是HT...原创 2019-06-01 17:02:53 · 208 阅读 · 0 评论 -
【爬虫学习-03】urllib库讲解
Python内置的HTTP请求库 urllib.request 请求模块(模拟发送请求,传入链接和参数) urllib.error 异常处理模块 urllib.parse url解析模块(拆分合并) urllib.robotparser robots.txt解析模块(使用较少) ...原创 2019-06-01 17:03:20 · 115 阅读 · 0 评论