爬虫
爬虫知识点
好像我也不了解她
这个作者很懒,什么都没留下…
展开
-
爬虫Day04
程序执行速度很快,直接获取标签但是标签还没加载好,会报错。当使用driver.find_element_by_xxx()方法查找元素时,如果元素没有立即出现在页面上,那么默认情况下,WebDriver会立即抛出NoSuchElementException异常。但是,如果使用了隐式等待,WebDriver将在指定的时间内等待元素出现,如果在等待时间内找到了元素,则立即返回该元素;如果等待时间已过仍然没有找到元素,则抛NoSuchElementException异常。原创 2023-07-14 17:14:44 · 405 阅读 · 0 评论 -
爬虫Day05
2.scrapy架构3.使用命令创建scrapy项目Windows + R 启动 cmd 窗口创建爬虫项目启动爬虫原创 2023-07-13 22:49:29 · 578 阅读 · 1 评论 -
爬虫Day03
爬取网页需要解析数据xml格式的数据可以直接通过re正则去匹配html格式的数据使用beautifulsoup4,lxml安装。原创 2023-07-13 20:47:25 · 479 阅读 · 1 评论 -
爬虫Day02
HTTP的响应就是res对象,所有HTTP响应的东西都在对象中。用requests模块的异常会捕获到详细的异常信息。所以在每次发送请求时不会自动携带cookie。只不过requests模块的异常捕获更为详细。借助与session发送请求解决此问题。浏览器的HTTP请求是无状态无连接的。在向网址发送请求的时候可能会遇到异常。网页返回的数据可能是json格式。解析json格式数据的网址。可以使用全局的异常捕获。原创 2023-07-13 20:38:52 · 396 阅读 · 1 评论 -
爬虫Day01
【代码】爬虫Day01。原创 2023-07-13 20:28:01 · 513 阅读 · 1 评论 -
爬虫爬取京东商品信息
【代码】爬虫爬取京东商品信息。原创 2023-07-13 20:15:51 · 917 阅读 · 1 评论