- 博客(7)
- 资源 (10)
- 收藏
- 关注
原创 2. IOC 容器的简单实现(附源码)
IOC 容器的简单实现之前一直想深入研究下IOC容器的原理,无奈最近去搞大数据了实在没时间。今无意间看到了深入理解Spring–动手实现一个简单的SpringIOC容器 ,没想到确实会这么简单,原文章中没有属性注入的代码,我做了简单的补充。该代码对IOC容器的理解很有帮助。故记录。 源码上传至:http://download.csdn.net/download/fadetoblackfff/10
2017-12-27 11:52:44 226
原创 管道模式(pipeline)
读tomcat源码时碰到管道模式(PiepeLine),整个阀门的结构类似一个单链表,在处理数据需要在各个部件中流动处理的场景时非常有用,其原理如下: 流水线模式的几个角色 阀门 处理数据的节点管道 组织各个阀门客户端 构造管道,并调用 接口代码建模 阀门接口 public interface Valve { public Valve getNext();
2017-11-21 16:01:46 5253 1
原创 spark与scala版本问题
异常信息: java.lang.NoSuchMethodError: scala.Product.$init$ 事情的经过是这样的: 1. 使用spark最新版本2.2.0测试SparkSql的DataFrame及Dataset的时候抛出这个异常。 2. 开始怀疑是scala版本问题,于是没多想安装了scala最新版本2.1.2.4,然而依然报这个错。 3. 郁闷好久,甚至去研究ca
2017-11-14 16:06:45 13491 2
原创 spark windows环境下开发环境快速搭建。
spark本地练习环境搭建 练习环境搭建 为了避免搭建环境阻塞对spark本身的学习(当然这部分也很重要,当对spark本身有了基本了解后应该学习这部分内容),可采用本地的模式快速搭建练习环境,具体环境搭建参考:Spark在Windows下的环境搭建 本人亲测可用,希望对入门大数据的朋友有所帮助。 IDEA开发环境搭建 在有了上面的环境之后,可以在spark-shell下进
2017-11-09 18:32:40 570
原创 spark官方文档阅读笔记1
spark官方文档阅读笔记1 sparkContext的初始化 val conf = new SparkConf().setAppName(appName).setMaster(master) new SparkContext(conf) 如果在本地运行,则master的值为"local",如果在集群运行,则值为master主机的ip地址,问题:如果在yarn运行呢? 参考文档
2017-11-09 18:29:09 327
原创 linux免认证登录
1. 安装ssh centOS: sudo yum install ssh ubuntu: sudo apt-get install openssh-server 2. 生成密钥 ssh-keygen -t rsa cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys ssh-copy-id -i ~/.ssh/id
2017-09-22 20:29:56 990
原创 1. 引子
尽管现在看起来用面向对象的方法给世界建模是理所当然的,但是从面向过程到面向对象的转变依然是很突破性思维转变,它使得给事物建模的复杂性降低了很多,你无法想象只使用面向过程的方式去给事物建模有多复杂。但是面向对象并不是没有缺点。 例子:假设模拟人使用手机发短信这个场景,一开始,我们可能会这么写: 手机的接口: public interface Phone { void sendMe
2017-09-16 19:04:17 243
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人