![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
知了APP
文章平均质量分 79
wsrspirit
靠谱就写在我脸上
展开
-
“知了”来了,西电的小朋友们看过来!
经过9个月断断续续的开发,“知了”终于完成了第一版的开发,目前还未上线处于内部测试状态。快来当一波内部测试吧~ 说了这么多,还不知道“知了”是什么? 我们的APP下载二维码 我们都是高校学生,我们都知道在与我们学习或工作相关的重要信息的获取方面,我们都是刷着各种各样的网站。(下面我讲的东西,请自行脑补图片,我好想要一个美工运维!) 【招聘时我们需要去瑞思逛,我们要去BAT官网逛,学校的原创 2016-06-24 12:26:01 · 6147 阅读 · 6 评论 -
[源码学习][知了开发]WebMagic-OOSpider
写在前面之前两篇博客基本上讲完了Spider,四大组件还有三个包装类没有讲,这篇博客讲讲一下OOSpider,也是对Spider的一个补充,但是我觉得OOSpider是WebMagic的一个很强大的功能,提供了注解的爬虫,官网地址: http://webmagic.io/docs/zh/posts/ch5-annotation/README.html例子先看一下怎么使用注解编写爬虫原创 2016-07-21 09:35:07 · 5791 阅读 · 0 评论 -
[源码学习][知了开发]WebMagic-总体流程源码分析
写在前面前一段时间开发【知了】用到了很多技术(可以看我前面的博文http://blog.csdn.net/wsrspirit/article/details/51751568),这段时间抽空把这些整理一下,WebMagic是一个Java的爬虫,中国人写的,代码很模块化,也很利于二次开发,但是我们在使用的过程中也遇到了一些问题,这些问题我会在最后的博客中介绍,最近的博客将详细的走一下WebMagic的原创 2016-07-18 18:10:35 · 5574 阅读 · 1 评论 -
[知了开发]“知了”APP整体设计
写在前面“知了”这款APP的业务逻辑是技术框架的前提,如果还没有用过“知了”的,不如先试试 http://blog.csdn.net/wsrspirit/article/details/51751568 业务有两个主要场景,主要是按照学生在校园生活的社交维度划分,一个是以整个学校为单位,一个是以院、班等团体为单位。学校为单位的消息来源主要是整合常见网站信息,而团体单位则依赖学生主动添加组织并主动原创 2016-07-19 23:06:03 · 1585 阅读 · 0 评论 -
Android Scrollview+Listview 实现不同条目点赞并计数功能及原理分析(1)
兑现我的承诺,开始了Android的学习,实现的demo目的很明确,就是对listview里面的内容点赞,然后赞的数目改变。 我先说一下将会解决的问题,没准你也遇到了 Listview在Scrollview中无法显示完全子view中的button等劫持了listview中item的clickListenerOnClickListener接口的onClick方法中的View view参数究竟是什原创 2015-10-28 22:40:37 · 2039 阅读 · 1 评论 -
Android Scrollview+Listview 实现不同条目点赞并计数功能及原理分析(3)
过了有点久,还好上次把代码发上去了,不会影响。现在我们来解决最后一个问题 点赞后计数改变这个问题难在哪里呢,就是我们需要在自定义的adapter中设置每个item长什么样子,每个子控件的clickListener也需要在这里设置,但是有时候点击事件需要改变外层的页面属性。比如我在item中有一个button,点击它,整个屏幕就暗了,显然需要在外界得到这个button的click事件。解决这个问原创 2015-11-23 23:53:12 · 1934 阅读 · 1 评论 -
Android AsyncTask onProgressUpdate 方法的些许研究
我们都知道我们可以在asyncTask中写一些异步的方法,是因为Android不允许在主线程(MainThread)中做网络访问等一些耗时的操作,但是我们也希望能在AsyncTask中更新UI操作怎么办呢,可以看看这篇: http://stackoverflow.com/questions/23978400/how-to-update-ui-from-asynctask 简单说 onPreE原创 2015-12-17 21:01:48 · 4431 阅读 · 0 评论 -
[源码学习][知了开发]WebMagic-CountableThreadPool&SpiderMonitor
写在前面今天继续来看WebMagic,先放过四大组件以及三个包装,我们看看边边角角的东西,也算是对Spider的一个补充Spider剩下的CountableThreadPool在上一篇的Spider中我们一定注意到了threadpool这个变量,这个变量是Spider中的线程池,具体代码public class CountableThreadPool { private int threadN原创 2016-07-19 10:18:14 · 2397 阅读 · 0 评论 -
[源码学习][知了开发]WebMagic四大组件-Downloader,Pipeline,PageProcesser
写在前面关于WebMagic这应该是最后一篇博文了,这一篇相对也简单一些Pipeline & PageProcesser这两部分是应该程序员自己实现的部分,因为PageProcesser关乎如何解析页面而Pipeline则是存储,推荐使用OOSpider也就是注解式编程。Downloaderpublic interface Downloader { /** * Downloads w原创 2016-07-25 11:16:03 · 2263 阅读 · 0 评论 -
[源码学习][知了开发]WebMagic四大组件-Scheduler
写在前面先看看文档对于Scheduler的作用介绍 https://code4craft.gitbooks.io/webmagic-in-action/content/zh/posts/ch1-overview/architecture.html 之前我们也介绍过了,Scheduler主要负责爬虫的下一步爬取的规划,包括一些去重等功能。在主流程中也看到了Scheduler,现在来具体结合源码分析原创 2016-07-24 16:44:22 · 2888 阅读 · 0 评论 -
[知了开发]“知了”优化-整体架构
写在前面知了开发的整体架构在前面的博客中有介绍: http://blog.csdn.net/wsrspirit/article/details/51960147 先看一下,然后再说优化 [优化这种东西会不定期的更新,毕竟也是一点点摸索出来的]最重要的既然是优化,那么一定存在着不理想或者不可用,这些都是实际开发过之后才遇到的问题,也就是说在我们想着优化之前,你是否认真的接触过你项目的每一部分开发原创 2016-07-24 12:11:24 · 964 阅读 · 0 评论 -
[知了开发]“知了”优化 - WebMagic 调优
在之前的博客中也分析了WebMagic的基本所有的主要代码,在我们的项目中也遇到了很多由于WebMagic的问题而导致真个服务器性能大范围的下降,那么今天说说这些bug使用场景我们的应用需要在每天额固定时间启动爬虫,然后去爬,很明显我们需要从昨天的爬取结果中增量爬虫,这个增量是相对于昨天,而不是一次爬虫中的过程中那么怎么存储昨天爬取的url呢。使用数据库很明显我们能够在pipeline中存储url,原创 2016-08-12 22:43:38 · 2997 阅读 · 3 评论