![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 65
hassen2010
JavaEE开发10年,长期从事金融,渲染云计算行业.熟练运用j2ee的各种框架技术spring mvc,struts2,mybatis,hibernate以及前端技术,掌握解决企业应用复杂的分布式技术及SOA架构,能够为互联网高并发需求提供合适解决方案.
从事过的大型项目包括:香港交通银行个人网银开发 瑞云科技云渲染平台 酷派电商系统 华为售前云项目 阿里云集群调度合作项目.
展开
-
用Squid配置自己的代理服务器注意事项(只有拿到用户名密码的人才能打开潘多拉魔盒)
如果你想去做爬虫,那么仅仅使用自己本地的ip肯定是不够的,这里有两种选择:一、ip动态代理这办法我就不多说了,可以搜索一下度娘,提供ip动态代理的平台很多二、搭建自己的代理服务器如果你正好有自己的服务器,无论是在阿里云还是在腾讯云,都可以安装 squid ,参考https://blog.csdn.net/qingfengxulai/article/details/80853870,只看安装服务端部分 你的代理服务器我想一定只想让你自己访问,不想让别人访问(这个地方我自己吃了很大的...原创 2020-07-14 12:12:06 · 5043 阅读 · 0 评论 -
爬虫小计(charles抓取wss数据--yy数据爬取)
背景爬取一个直播平台的信息与一个普通网站的数据直播平台的信息有热门主播的在线人数,时常,与热门直播的礼物情况(粉丝的人物画像)难点打赏礼物的人物画像httpswss(数据的实时性),需要模拟匿名用户的访问,某直播网站的wss数据又是二进制数据头大的js代码,无限多,无限长分析一般普通数据用java jsoup来解决wss的数据需要先模拟匿名登录,拿到binary da...原创 2018-10-14 17:35:44 · 18114 阅读 · 11 评论 -
Scrapy 西瓜皮框架
Scrapy框架使用感受使用一个框架最理想的状况是:懂得其原理看得懂日志精通其配置这样的框架就是很好用,用最好的代码做更多的事情,爬虫也就是一个工具而已,所以很多事情都可以通过框架来做,原本我通过java以及c++都写过爬虫,使用了scrapy后,发现那些都太弱了,顺带我总结了一下中小型爬虫系统都需要考虑的方面。scrapy虽然已经很强大,但是在中断处理方面并没有给出好的方案,还需...原创 2018-11-25 17:23:54 · 607 阅读 · 1 评论