- 博客(12)
- 资源 (1)
- 收藏
- 关注
原创 Centos6.5将git 1.7.1升级到git 2.2.1
使用源码编译的方式安装git 2.2.1。一、环境准备 安装编译git 2.2.1需要使用到一些软件工具,需要提前先安装好这些软件工具,按顺序运行如下命令:#yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc#yum install gcc perl-Ext
2016-12-30 15:47:59 3587 1
原创 Scala开篇-for循环高级应用之yield
Scala语言还真奇妙,语法非常精简。for循环有太多高级的用法了,本篇记录的是在for循环体的前面使用yield关键字,就会有奇妙的玩法:如果在for循环体前面加上yield关键字,则说明该for循环将输出1个集合,而每次循环的输出做为该集合中的一个元素。
2016-12-29 21:42:05 2135 2
原创 使用exe4j打包jar为exe,运行闪退,无法看到错误信息
使用exe4j集成jre打包exe时,运行exe应用程序时,直接闪退,经排查,发现报错信息:The JAVA_HOME environment variable does notpoint to a working 32-bit JDK or JRE.The JVM found at JAVA_HOME is damaged.Please reinstall or define EXE4J_JAVA_HOMEto point to an installed 32-bit JDK or JRE.T
2016-12-28 17:26:02 9637 3
原创 Kafka 实战 - 启动报错 IllegalArgumentException: Path length must be > 0
kafka修改zookeeper的path导致的启动报错:FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)java.lang.IllegalArgumentException: Path length must be > 0。分析并解决该错误。
2016-12-28 14:51:58 4512 2
原创 Spark 实践 - Spark Streaming 应用程序中的错误:ORA-01000: maximum open cursors exceeded
使用Spark Streaming 编写处理实时消息的应用唾弃,然后将计算后的数据写回Oracle,给Web应用程序使用,Spark Streaming应用程序启动后,运行几个周期之后报出异常,自动重启后又报出异常:java.sql.SQLException: ORA-01000: maximum open cursors exceeded
2016-12-28 11:25:22 830
原创 Spark 实践 - RDD 的 join操作之需要注意的事项 - RDD为空的join操作
RDD的join操作,如果存在有join的RDD为空,则计算后的结果也将是空的。
2016-12-27 11:16:13 5903
原创 重拾数学-1-统计学中的总体与样本
“重拾数学”第一篇章,感慨一下,回忆在校过往所学的数学,基本上都归还书本了,而那些书本也不知轮回几许了,现在由于工作需要,重新学回数学。曾记得以往学数学是为了考试升级,纯粹是为学数学而学,当时忽略了数学是解决生活中的问题而被证明出来的,是简单的原理,也是通用的原理这样的一个关键点,所以才未能将数学的知识掌握牢固。现在以用为学,学以致用,以用数学去解决问题为目的,去寻找解决问题的数学原理及计算方法,反而发现数学在生活中无处不在,而且也像别人所说那样——数学之美。
2016-12-25 22:16:30 1293
原创 Java中transient的使用说明
Java中的transient关键字,从字面意义理解,transient为短暂的意思,transient应用于class的field上,即说明该field为短暂的,那对于1个成员变量,短暂的成员变量意味着什么?transient 修饰的变量,在类实例的序列化处理过程中会被忽略,例如,将类的实例序列化成字节流,再从字节流反序列化成类实例,transient修改的变量将不是原来的值,因此,短暂的成员变量意味着,不会贯穿对象的序列化和反序列化,只会存在当前,是短暂的存在而非持久的存在。
2016-12-22 08:36:21 3572
翻译 使用Scala如何删除Array,ArrayBuffer中的元素
一、Array与ArrayBuffer简介 Array与ArrayBuffer都是集合,可以存储任何类型的对象,不同的是Array是不可变的,而ArrayBuffer是可变的。二、Array与ArrayBuffer的元素删除操作 由于Array是不可变的,所以不能直接地对其元素进行删除操作,只能通过重赋值或过滤生成新的Array的方式来删除不要的元素。
2016-12-17 21:08:21 14619
原创 Scala开篇-类与成员入门介绍
一、Scala类与成员概念 Scala编程语言,既是面向对象的编程语言,也是面向函数式的编程语言,很完美地融合了两位的优点。在章节介绍的是,在Scala编程使用面向对象的类。在Scala编程中,使用class关键字来定义1个scala类,然后使用new关键字来创建1个类的对象。Scala的类定义和实例化对象方式与Java比较相似。 在Class内部可以有若干成员:f
2016-12-14 11:40:42 1260
原创 Spark 实践 - RDD 的 union操作实例
一、概念简介: RDD是Spark中最重要的抽象概念,叫做弹性式分布式数据集。在Spark的世界中,到处都是RDD,Spark提供了2种方式来操作RDD,分别为:转换、执行。转换、执行操作也内嵌了很多方法。 RDD也是一种数据集,RDD非常灵活,可以存储的数据类型非常灵活——基础类型如String,Int;也可以存储复杂类型——List、用户自定义类型等。
2016-12-13 14:02:31 13868
翻译 Spark共享变量-Broadcast广播变量介绍及scala实现
通常情况下,当1个function传递到1个spark operation(例如:map、reduce)时,这个function是在远程的集群node上被执行的。这些变量会被复制到每一台机器,在远程机器上不会更新这些变量,然后又传送回driver program。跨tasks共享读写变量的支持,通常是低效率的。然而,spark提供了2种通用的共享变量模式:广播变量和累加器。 广播变量
2016-12-09 09:17:58 8600
protobuf-java-2.5.0.jar
2016-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人