网络爬虫
关注
分享
扫一扫
Python3网络爬虫从基础到实践，记录学习，分享快乐！
Asia-Lee
计算机视觉，自然语言处理，深度学习等
展开
-
Python3网络爬虫——（5）Scrapy爬虫基础
目录1、Scrapy常用命令行2、Scrapy爬取内容3、Scrapy数据提取4、Scrapy爬取中国大陆明星5、12306火车站站名爬取1、Scrapy常用命令行 scrapy startproject QuotesSpider #创建项目 scrapy crawl XX #运行XX蜘蛛 sc...原创 2019-11-27 21:49:02 · 1660 阅读 · 3 评论 -
Python3网络爬虫——（4）正则表达式（re模块）
目录一、正则表达式二、Python语言中的re模块拥有全部的正则表达式功能1、re.match函数2、re.search函数3、re.findall函数4、re.sub函数5、re.compile函数6、re.finditer函数7、re.split函数三、常用正则表达式一、正则表达式1、正则表达式是字符串搜索引擎Python正则表达式是对字符串...原创 2018-04-04 19:26:08 · 2745 阅读 · 0 评论 -
Python3网络爬虫——（3）代理服务器设置（IP代理使用）
代理服务器设置西刺代理IP URL：http://www.xicidaili.com/ 使用request.ProxyHandler()来设置对应的代理服务器信息# -*- coding: UTF-8 -*-from urllib import requestif __name__ == "__main__": #访问网址 url = 'https://...原创 2018-04-03 22:35:00 · 4138 阅读 · 1 评论 -
Python3网络爬虫——（2）设置User Agent模拟浏览器访问
目录1、方法一使用build_opener()修改报头2、方法二使用add_header修改报头3、方法三4、常见的User Agent1、方法一使用build_opener()修改报头# -*- coding: UTF-8 -*-#使用build_opener()修改报头from urllib import requestif __name__ == "__mai...原创 2018-04-03 22:30:22 · 4826 阅读 · 1 评论 -
Python3网络爬虫——（1）利用urllib进行简单的网页抓取
目录1、urllib介绍2、快速使用urllib爬取网页3、获取网页的编码方式4、将爬取到的网页以网页的形式保存到本地5、urlopen的url参数信息6、urllib.error异常处理1、urllib介绍urllib是Python提供的用于操作URL的模块，即Python 内置的 HTTP 请求库，它包含四个模块：第一个模块 request，它是最基本的 H...原创 2018-04-03 22:23:03 · 1495 阅读 · 1 评论 -
Python3网络爬虫——爬虫基本原理
目录1、网络爬虫概述2、爬虫基本流程3、爬虫基础知识1、网络爬虫概述爬虫就是请求网站并提取数据的自动化程序网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去...原创 2018-04-03 21:57:26 · 4505 阅读 · 0 评论