pip install requests # 网页数据爬取
pip install lxml # 提取网页数据
四、使用代理
4.1 使用代理的好处?
使用代理IP可以带来以下好处:
- 匿名保护,保护隐私安全
- 安全采集公开数据信息
- 分散访问压力,提高爬取效率和稳定性。
- 收集不同地区或代理服务器上的数据,用于数据分析和对比。
博主经常写爬虫代码使用的是巨量IP家的高匿名代理IP,每天有1000个免费IP:点击免费试用
4.2 获取免费代理
1、打开巨量IP官网:巨量IP官网
2、输入账号信息进行注册:
3、这里需要进行实名认证,如果不会的可以看:个人注册实名教程:
4、进入会员中心,点击领取今日免费IP:
5、详细步骤看官方的教程文档:巨量HTTP—免费代理ip套餐领取教程,领取后如下图:
6、点击产品管理》动态代理(包时),可以看到我们刚才领取到的免费IP信息:
7、将自己电脑的IP添加为白名单能获取代理IP,点击授权信息:
8、依次点击修改授权》快速添加》确定
9、添加完成后,点击生成提取链接:
10、设置每次提取的数量,点击生成链接&