- 博客(2)
- 收藏
- 关注
原创 记一次JD爬虫
本次爬虫内容为商品SKU、标题、价格、主图、详情图、参数、规格,适用于大部分商品的属性。一、代理IP因为爬虫的数据量比较大,考虑使用代理IP池,从https://cn-proxy.com/获取IP,并存储到数据库中方便使用。本部分的模块有lxml、pymysql、requests使用百度验证IP代理是否可用from lxml import etreeimport pymys...
2018-12-25 17:45:37 549
原创 解决Flask项目无法使用公网IP访问的问题
解决Windows下Flask项目无法使用公网IP访问的问题最近在折腾Python Web,在测试的时候发现,本机可以正常访问,但外网无法通过公网IP访问页面。经过各种搜索,有大致三种解决方案。一、修改/添加安全组端口这是第一种方案,也是能解决大部分问题的一个方案。由于我的服务器是阿里云的,所以在阿里云的ECS云服务器控制台中,管理安全组,添加5000和8000端口以便测试。...
2018-11-27 15:40:19 9653 6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人