爬虫
1-只小猴子
这个作者很懒,什么都没留下…
展开
-
JAVA爬虫第一视频网站
需求:获取第一视频网搞笑栏目的视频信息,以及视频源地址思路:获得网站内容,再从内容中筛选出所需内容1.如何获得网站所有内容import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import java.net.HttpURLConnection;...原创 2018-06-05 15:18:56 · 5240 阅读 · 4 评论 -
JAVA爬虫天眼查、启信宝...企业信息查询网站
闲来无事,做个快速收集企业信息导出Excel表的程序。所以...嘿嘿,开始对天眼查进行研究,废话不多说。一、天眼查网站地址:https://www.tianyancha.com,到天眼查网站后例如:查询关键字:教育,天眼查说查询到100000+条企业信息,但是当你去翻页看的时候会发现在不登录的时候只能查看2页,后面就提示你登录查看更多了,那就登录一下,反正天眼查有短信快捷登录,登陆后...原创 2019-01-02 16:58:14 · 6839 阅读 · 10 评论 -
JAVA爬虫QXB
上篇分享了采集天眼查网站的分析过程以及代码,其实启信宝跟天眼查差不多,不同的是天眼查对机器验证不严格,但是限制普通用户搜索结果只能查看前5页信息,启信宝搜索结果最多可以查看500页信息,不过启信宝对机器验证很严格,每访问3次,它就会对你进行机器验证,我尝试过每访问2次修改cookie,也不能越过机器验证,更多方式有待研究,下面直接上从模拟访问网站一直到导出Excel的代码:QiX...原创 2020-05-31 18:01:15 · 1531 阅读 · 2 评论 -
爬虫手机App——数据采集小攻略
爬虫手机App数据采集小攻略最近帮朋友研究爬虫软件,抓取手机App的资源,想总结一下爬虫手机App资源的小套路,翻到这哥们总结的不错,就不重复造轮子了!下面请看转载 2019-08-22 18:39:03 · 5625 阅读 · 0 评论