爬虫
ncepu_Chen
这个作者很懒,什么都没留下…
展开
-
Python爬虫01:数据抓取工具及类库
Python爬虫01:数据抓取工具及其类库数据抓取的命令行工具curlwget数据抓取的Python库requests库requests库的简单使用发送HTTP请求:解析HTTP响应在网络异常时报错身份认证数据抓取的命令行工具curlcurl是一个利用URL语法在命令行下进行网络通信的工具,类似于一个命令行版本的浏览器,但不会对页面进行渲染.其用法很简单,直接在命令行中输入curl [URL...原创 2019-10-28 21:33:44 · 786 阅读 · 0 评论 -
Python爬虫02:数据解析工具及类库
文章目录Python爬虫学习01:正则表达式正则表达式正则表达式的语法正则表达式中的元字符Python爬虫学习01:正则表达式正则表达式正则表达式的语法正则表达式中的元字符表示字符的元字符字符功能.匹配除\n以外任意一个字符[ ]匹配[ ]中列举的字符[^ ]匹配不是[ ]中列举的字符[0-9]匹配数字[5-8]匹配数字5678...原创 2019-10-27 09:49:33 · 368 阅读 · 0 评论 -
Python爬虫03:Scrapy库
Scrapy库Scrapy库的示例Scrapy爬虫示例1: 使用爬虫发送请求创建并运行一个爬虫项目创建Scrapy项目: 在命令行中输入scrapy startproject tutorial即可创建一个Scrapy项目,该项目名为tutorial,生成的项目文件的目录结构如下:tutorial/ scrapy.cfg # Scrapy项目的配置文件 ...原创 2019-11-01 13:59:53 · 926 阅读 · 0 评论 -
Python爬虫04:Selenium库
Python爬虫04:Selenium库Selenium环境的安装浏览器驱动的安装安装Selenium库启动浏览器窗口Selenium的基本操作创建浏览器句柄控制浏览器查找元素操作页面元素Selenium环境的安装浏览器驱动的安装要想使用Selenium驱动浏览器,就要先安装对应版本的浏览器驱动.对于Chrome浏览器,其驱动的下载位置为https://sites.google.com/a/...原创 2019-11-09 00:05:16 · 328 阅读 · 0 评论