- 博客(19)
- 资源 (12)
- 问答 (2)
- 收藏
- 关注
原创 sparkSQL结合hive的入门程序
学习sparkSQL时最简单的一个示例,是用json格式的文件充当hive表,并注册为临时表,然后用hiveQL的API来查询得出需要的结果。package spark.sparkSQLimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.hive
2018-01-30 01:18:33 331
原创 Spark程序开发规范
在编写SparkRDD程序时,经常要将本地开发好的代码,在本地测试完后,要打包成jar,并发布到集群上去跑一跑。这是通过命令行传入参数的友好性提示和规范编码就体现出来了,下面我将整理【Scala语言开发Spark程序的常用模板】package spark.sparkSQLobject SparkSQLTwitter { def main(args: Array[String]) {
2018-01-29 15:52:44 2316
原创 Scala Spark Map DataFrame Missing Paramenter Type
在学习sparkSQL时,按照书中的例子敲了代码,但是报出map row:Missing Paramenter Type的错误,意思就是没有指定row变量的类型。当我在我的代码的val hiveCtx = new HiveContext(sc)的下一行,添加import hiveCtx.implicits._代码段之后,错误被解除了。因为这段代码会将RDD隐式转换为DataFrame 完整代...
2018-01-28 20:46:35 600
原创 ~ 按位取反运算解析
今天我在看简明Python指南的时候,看到其中一个计算机计算的问题,它是这样描述的:x的按位取反结果为-(x+1) ~5 输出 -6。有关本例的更多细节可以参阅:http://stackoverflow.com/a/11810203看到这儿我就疑惑了,之前在大学中学习的计算机基础课程又还给教材了,hhh… 无奈,我只好取网上搜寻解析的答案,而网上的解释说得不太让人明白,自己结合他人的解
2018-01-28 14:39:56 16371 6
原创 linux用户登陆时,配置自动加载执行shell脚本的做法
通过 /etc/motd 文件中直接加入脚本内容或在 /etc/profile.d 文件夹中加入.sh执行脚本文件,可以实现在linux用户登陆后,自动执行脚本内容。大家观察 /etc/profile.d 文件夹下,有许多我们非常熟悉的内容,包括vim、less等:[elon@spark ~]$ ls /etc/profile.d/colorls.csh gnome-ssh-askpas
2018-01-28 02:10:21 16748 3
原创 克隆VMware虚拟机及克隆后修改系统参数的全过程
克隆VM lunix虚拟机克隆之前local模式下调试的spark虚拟机,采用克隆完整文件的模式 修改unix系统参数通过上一步的克隆,得到多个unix系统环境,现在拿其中一个进行修改举例,其余部分大致相同,除了IP和主机名以外。第一步 修改mac地址在虚拟机还未启动之前,先修改该系统的mac地址,如下操作所示。 生成新的mac地址,并用记事本记录
2018-01-27 02:06:46 17568 8
原创 Java中获得查询日期的上月末的日期
Java中获得查询日期的上月末的日期,通过calendar类来进行日期格式的转换和调用。 具体代码如下,注释即为代码解析 @Bizlet("获得查询日期的上月末的日期") public String getLastMonthDate(String DateStr) throws ParseException{ SimpleDateFormat d
2018-01-26 20:44:37 2431 1
原创 org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io..
这是在Windows环境下执行Spark程序时出现的,本人的windows系统中 安装的是Hadoop2.7.5包,可跨windows平台执行的包已发布在csdn下载栏中,【点击获取】执行Spark程序,saveAsTextFile(path)函数时出现异常An exception or error caused a run to abort: org.apache.hadoop.io.n
2018-01-26 16:52:21 1323
原创 maven官方安装及编译教程 | maven官方文档
maven 构建Java应用及其他应用的入门教程,建议读者参考Spring的官方文档 【点击跳转】这里主要说明下,我们maven中编译Java代码的几个关键命令的说明,首先贴出maven帮助文档中对这几个命令的描述:mvn compileThis will run Maven, telling it to execute the compile goal. When it’s fin
2018-01-25 22:42:48 780 2
转载 Git忽略规则及.gitignore规则不生效的解决办法 | 修改.gitignore文件Github上不生效的解决办法
在git中如果想忽略掉某个文件,不让这个文件提交到版本库中,可以使用修改根目录中 .gitignore 文件的方法(如无,则需自己手工建立此文件)。这个文件每一行保存了一个匹配的规则例如:# 此为注释 – 将被 Git 忽略*.a # 忽略所有 .a 结尾的文件!lib.a # 但 lib.a 除外/TODO # 仅仅忽略项目根目录下的 TODO 文件,不包括
2018-01-25 03:43:21 471
原创 【Windows中Spark环境搭建 | 基于Maven依赖库】在windows中对spark程序进行local调试学习
写在开头本博客的目标是可以在不开启spark集群 | Linux虚拟机的情况下,对Spark RDD程序的完美运行,旨在解放初学者应无Linux集群环境、无内存容量支撑的情况下运行spark程序,写这篇的灵感来源于自己在学习Spark时,看官方文档中介绍spark standalone模式部署,动辄20G内存、一个Master附带几个worker节点,然后默默看了眼自己的笔记本,8G内存、还要
2018-01-22 23:02:17 836 1
原创 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform..
启动或执行Hadoop | Spark程序时出现警告18/01/22 17:50:39 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable原因分析这是因为 $HADOOP_HOME/lib/na
2018-01-22 19:33:37 1101
原创 自定义csdn博客栏目参考
专栏装饰代码持续更新中… 也欢迎各位喜欢折腾的朋友 分享出你的好设计 下载及长期维护地址 【csdn博客栏目自定义】专栏一:个人资料 | 欢迎关注 由于排版原因,这里就仅贴出该专栏的截图和代码展示效果图展示代码展示div> div align="center" style="padding-top:5px; font-family:'Open San
2018-01-22 15:21:31 422
原创 java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IIL...
在window Eclipse中运行Hadoop和Spark程序时会遇见如下异常错误java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;J
2018-01-22 13:51:31 3538 3
原创 配置和启动Spark | local模式以及standalone模式
Spark Local模式直接在 $SPARK_HOME/bin/spark-shell 中运行spark RDD程序,在UI界面http://nodename:4040/中可以看到jobs的执行情况[elon@spark ~]$ spark-shell --master localSetting default log level to "WARN".To adjust logg
2018-01-21 10:47:59 3434
原创 Eclipse+Maven+Scala Project+Spark | 编译并打包wordcount程序
学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程。 本项目源码已托管于Github –>【Spark-wordcount】第一步 在EclipseIDE中安装Scala插件在Eclipse中安装Scala插件 第二步 创建Scala Project创建Scala 项目 第三步 给Scala项目注入maven依赖将Scala
2018-01-12 18:47:18 4619 2
原创 Spark构建独立应用 | sbt应用构建打包
学习用sbt来构建并打包一个简单的单词统计的例程。第一步 创建Scala版的单词统计应用WordCount.scala/** * Illustrates flatMap + countByValue for wordcount. */import org.apache.spark._import org.apache.spark.SparkContext._object W
2018-01-07 01:08:39 689
原创 使用Scala
在Scala中,对于脚本文件,其扩展名为.sc,而编译后的文件扩展名为.scala。加载脚本文件并执行通常对于脚本文件,使用scala环境,然后使用:load命令加载(编译并运行)文件:# upper1.scclass Upper{ def upper(strings: String*): Seq[String] = { strings.map((s:Stri
2018-01-03 19:58:26 2314
原创 安装Scala
在最近的学习中,由于要着手学习Spark,而Spark又是右Scala语言编写的,所以在学习的时候,难免后遇到有关scala的语法知识以及编程技巧等,再加之被scala简介的代码所吸引,于是乎决定在Scala上先入门…在安装Scala之前,需要确保自己的机器的JVM环境是Java 8以上,若不是则下载升级 download Java here使用SBT创建一个 sbt 工程,你需要经过
2018-01-03 19:47:18 363
hadoop-2.7.5-bin压缩包,适合在window平台运行hadoop和spark程序,其中的文件已做替换
2018-01-30
仅利用session和application实现聊天室
2017-04-18
Java编写 航班信息查询管理系统
2016-05-11
Java编写的 航班信息查询管理系统
2016-05-04
React Native 可以走多远,应用场景有多广,未来行业发展前景如何?
2016-07-04
大数据对于一个自学的大学生难吗?
2016-06-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人