爬虫
文章平均质量分 83
爬虫基础知识
Enchant!
这个作者很懒,什么都没留下…
展开
-
爬虫(3)——selenium
文章目录1.selenium2.Phantomjs(已经停更,不推荐使用)3.Chrome handless 1.selenium 什么是selenium? selenium是一个用于web应用程序测试的工具 selenium测试直接运行在浏览器中,就像真正的用户在操作一样 支持通过各种driver(FirfoxDriver,InternetDriver,OperaDriver,ChromeDirver)驱动真实浏览器完成测试 selenium也是支持无界面浏览器操作的 为什么使用seleniu原创 2022-03-19 10:03:45 · 305 阅读 · 0 评论 -
爬虫(1)——爬虫简介
文章目录1.pip的使用1.常用的命令2.修改pip下载源2. Urlib1.什么是互联网爬虫?2.爬虫核心?3.爬虫的用途?4.爬虫分类1.通用爬虫2.聚焦爬虫5.反爬手段6.urllib库使用7.请求对象的定制8.编解码1.get请求方式:urllib.parse.quote()9.Handler处理器10.代理服务器 1.pip的使用 1.常用的命令 pip install 包名 安装指定的包 pip uninstall 包名 删除指定的包 pip list 显示已经安装的包 pi原创 2022-03-19 10:02:50 · 223 阅读 · 0 评论 -
爬虫(2)——解析
文章目录1.xpath1.xpath的基本语法2.Jsonpath1.jsonpath的安装及使用方式:3.BeautifulSoup1.基本简介:2.安装以及创建3.节点定位 1.xpath 1.xpath的基本语法 路径查询 //: 查找所有子孙节点,不考虑层级关系 /: 找直接节点 谓词查询 //div[@id] //div[@id=“maincontent”] 属性查询 /@class 内容查询 //div/h1/text() 逻辑运算 //div[@id=“head”原创 2022-03-19 10:03:05 · 262 阅读 · 0 评论