- 博客(3)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 为何大量网站不能抓取?爬虫突破封禁的6种常见方法
转载自：https://www.cnblogs.com/junrong624/p/5533655.html 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 HTML 表单或其他网页文件），然后对数据进行解析，提取需要的信息。本文假定读者已经了解如何用代码来抓取一个远程的 URL，并具备表单如何提交及 JavaScri.
2020-09-11 15:44:26
5096
转载 Selenium知识点
Seleniumselenium文档： https://selenium-python-zh.readthedocs.io/en/latest/selenium安装： pip install selenium(不行就加上 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com)使用示例：from selenium import webdriverfrom selenium.webdriver.common.keys imp
2020-09-11 10:51:55
191
原创 linux下安装chromedriver
linux下安装chromedriver1、安装chrome：curl https://intoli.com/install-google-chrome.sh | bashldd /opt/google/chrome/chrome | grep “not found”2、安装chrome-driver查看google版本google-chrome --version在http://npm.taobao.org/mirrors/chromedriver/ 或https://chromed
2020-09-11 10:49:24
3090
空空如也
求教App爬虫 遇到返回的内容是加密过的数据要怎么处理呢
2021-05-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人