【python爬虫】爬取网贷之家所有P2P平台基本数据并写入MYsql数据库
使用的是python3做的一个爬虫,主要用于爬取网贷之家上面的数据。比较粗糙,很多该封装的地方没有进行封装。如果需要每天进行的话,还需要人工进行操作。后期会考虑挂靠服务器定时进行爬取,哈哈先这么搞,剩下的以后再说。import urllibimport requests #导入两个爬虫包,忘了是用哪个了,嘻嘻import re,time,pymysql #导入正则表达式、时间处理、mysql连接包...
原创
2018-03-27 14:52:31 ·
4668 阅读 ·
3 评论