- 博客(0)
- 资源 (11)
- 收藏
- 关注
RSS订阅定时任务框架
使用springboot搭建的一个定时任务框架,具有增,删,改,查,启动,暂停任务的功能,前端页面使用react+antd搭建,详细介绍:
https://blog.csdn.net/qq_35488769/article/details/83628374
2018-11-02
58同城二手房出售信息
爬自58同城的216W条二手房数据,从mongoDB中导出的json文件,包含的字段有
1.详情页面url
2.房屋朝向
3.房屋房间数量(类似两室一厅这种)
3.from url
4.经纬度
5.字符串地址
6,爬取时间(时间戳格式)
7.所属城市(类似湖北武汉这种)
可以用于大数据分析,机器学习等等,欢迎下载(未压缩前文件大小为700M,一般的文本编辑器无法打开)
2017-12-14
爬取一个用户的所有微博
利用selenium+PlantomJS登录+爬取感兴趣的用户的所有信息
包括昵称,认证,粉丝,关注,所有微博以及每条微博的转发,评论数量等
理论上来讲再加一个链接爬虫可以爬取新浪微博的所有数据
但是由于用的是无壳浏览器导致登录和加载页面速度比较慢
所以实际上基本不可能能实现爬取
代码写完调通就没有管过了,也没有优化过,不过基本的功能都可以实现
2017-06-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人