爬虫学习
GitSoSoA
这个作者很懒,什么都没留下…
展开
-
爬虫作业(1)
对于问号之后的参数,如果是写死的参数,那么就要将其删去;如果是动态的参数,比如本题使用‘keyword’代替参数,则不需要删去。,发送请求的类型依然为阿贾克斯请求。爬取肯德基餐厅信息查询网站。原创 2023-06-20 15:29:17 · 586 阅读 · 0 评论 -
爬虫学习(1)
3、UA伪装:门户网站的服务器会检测对应请求的载体身份标识,如果检测到请求的载体身份标识是某一款浏览器,说明该请求是正常的请求,如果载体身份标识不是基于某一款浏览器,则表示该请求为不正常请求。对于搜索框进行删除或者写入,会引起局部刷新,可以用ajax请求实现。所以说需要捕获阿贾克斯请求。豆瓣电影推荐向下拖动点加载更多会更新界面,所以会使用阿贾克斯请求,请求URL在图中。有的时候一张网页可能存在许多个框,但是我们只想获得其中的一个框的信息。对应的请求是post请求(携带了参数),响应数据是一组json数据。原创 2023-06-20 10:18:41 · 521 阅读 · 1 评论