![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
weixin_@0989
这个作者很懒,什么都没留下…
展开
-
selenium 爬取数据结果 编程类工作要求(六)
前期代码网址:https://blog.csdn.net/weixin_42550496/article/details/106155783 爬取结果: 15 职位诱惑: 六险一金 免费三餐 职位描述: 项目背景:今日头条,介意慎投 职位描述: 1、负责教育中台服务端的算法与工程的设计和研发工作; 2、运用工程及算法能力实现教育领域的产品落地 3、主要实现语言为Python / Golang。 职位要求: 1、大学本科(统招)及以上学历,计算机、通信等相关专业; 2、有...原创 2020-05-16 10:56:05 · 3010 阅读 · 0 评论 -
selenium 爬虫实例笔记(五)
以往文章:https://blog.csdn.net/weixin_42550496/article/details/106147955 #爬取拉钩网数据from selenium.webdriver import Chrome # from selenium import webdriver # from selenium.webdriver.common.keys import Keys #导入Time 库 import time #1 创建浏览器 web=Ch...原创 2020-05-16 10:50:42 · 258 阅读 · 0 评论 -
selenium 爬虫 (四)
注——知识点:pip指令使用 '-t' 来指定安装路径。 例如: pip install -t D:\python\binselenium 学习网址: https://www.cnblogs.com/csj2018/p/9249700.html 文章衔接 :由于篇幅问题 所以 分开写了 https://blog.csdn.net/weixin_42550496/article/details/106147038 这里边输入了 Keys.ENT...原创 2020-05-16 10:45:25 · 124 阅读 · 0 评论 -
selenium 三
文章衔接 上一篇https://blog.csdn.net/weixin_42550496/article/details/106146075 文字较少 尽量看图理解 疑问留言 自动执行的话 接下来的操作就是 点击叉子 (按照人们进入网站后的操作进行编写) 原理就是 用户点击 叉号时网站有反馈 所以 找到点击叉号的触动器 让程序自动执行 鼠标放在叉子上 点击右键 点击 【检查】 打开了 还不一定能找得...原创 2020-05-15 18:52:21 · 154 阅读 · 0 评论 -
selenium driver笔记二
当没有添加驱动时 出现了报错的结果 添加后的结果 直接打开界面 后来测试 保存文件后 双击执行文件应该也是可以的 可以看到结果 同时可以有许多网址 进行自动打开 按照顺序依次进行 ...原创 2020-05-15 17:54:12 · 102 阅读 · 0 评论 -
selenium 安装技巧笔记
在python中安装方法 pip install selenium 方法可以 但是容易出错 下载滴慢 易出现TimeOut 一下这种方法是 后边的 —i 意思是换下下载地址 下一行是更换的地址 pip inistall selenium Selenium]是一个用于Web应用程序测试的工具。 Selenium 测试直接在浏览器中运行,就像真实用户所做的一样。Selenium 测试可以在 Windows、Linux 和 Maci...原创 2020-05-15 17:14:17 · 96 阅读 · 0 评论 -
爬虫 Fiddler应用笔记
Fiddler:是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯,设置断点,查看所有的“进出”Fiddler的数据(指cookie,html,js,css等文件)。 Fiddler 要比其他的网络调试器要更加简单,因为它不仅仅暴露http通讯还提供了一个用户友好的格式。 ...原创 2020-05-11 23:32:34 · 133 阅读 · 0 评论 -
Python BeautifulSoup
原创 2020-05-08 22:33:39 · 89 阅读 · 1 评论 -
Python 爬虫
解释: 导入库 添加代码 状态:503 而非200 错误 查看编码 更改编码 如图是更改后爬取的网页代码 查看访问服务器时的程序 是浏览器还是爬虫 此时访问用户已经改变 Mozilla/5.0 是大部分浏览器访问服务器是的用户 这里算是取代 诱骗 ...原创 2020-05-07 22:56:33 · 128 阅读 · 0 评论 -
Python爬虫笔记
https://blog.csdn.net/weixin_42550496/article/details/105939492 https://blog.csdn.net/weixin_42550496/article/details/105939492 ...原创 2020-05-05 23:45:10 · 84 阅读 · 0 评论 -
Python爬虫 robots协议案例
http://news.sina.com.cn/robots.txt 新浪网 User-agent: * //*代表任何用户都拦截 通配符 Disallow: /wap/ //Disallow 不允许 中间含有 /wap/ 来爬取数据 Disallow: /iframe/ Disallow: /temp/ https://www.qq.com...原创 2020-05-05 23:43:36 · 603 阅读 · 0 评论