- 博客(2)
- 收藏
- 关注
RSS订阅原创 记一次JD爬虫
本次爬虫内容为商品SKU、标题、价格、主图、详情图、参数、规格，适用于大部分商品的属性。一、代理IP因为爬虫的数据量比较大，考虑使用代理IP池，从https://cn-proxy.com/获取IP，并存储到数据库中方便使用。本部分的模块有lxml、pymysql、requests使用百度验证IP代理是否可用from lxml import etreeimport pymys...
2018-12-25 17:45:37
540
原创 解决Flask项目无法使用公网IP访问的问题
解决Windows下Flask项目无法使用公网IP访问的问题最近在折腾Python Web，在测试的时候发现，本机可以正常访问，但外网无法通过公网IP访问页面。经过各种搜索，有大致三种解决方案。一、修改/添加安全组端口这是第一种方案，也是能解决大部分问题的一个方案。由于我的服务器是阿里云的，所以在阿里云的ECS云服务器控制台中，管理安全组，添加5000和8000端口以便测试。...
2018-11-27 15:40:19
9463
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人