Just Do IT

✎ 丨靡不有初,鲜克有终;不忘初心,方得始终丨

sparkSQL结合hive的入门程序

学习sparkSQL时最简单的一个示例,是用json格式的文件充当hive表,并注册为临时表,然后用hiveQL的API来查询得出需要的结果。 package spark.sparkSQL import org.apache.spark.SparkConf import org.apache....

2018-01-30 01:18:33

阅读数:98

评论数:0

Spark程序开发规范

在编写SparkRDD程序时,经常要将本地开发好的代码,在本地测试完后,要打包成jar,并发布到集群上去跑一跑。这是通过命令行传入参数的友好性提示和规范编码就体现出来了,下面我将整理【Scala语言开发Spark程序的常用模板】 package spark.sparkSQL object Sp...

2018-01-29 15:52:44

阅读数:361

评论数:0

Scala Spark Map DataFrame Missing Paramenter Type

在学习sparkSQL时,按照书中的例子敲了代码,但是报出map row:Missing Paramenter Type的错误,意思就是没有指定row变量的类型。 当我在我的代码的val hiveCtx = new HiveContext(sc)的下一行,添加import hiveCtx.imp...

2018-01-28 20:46:35

阅读数:135

评论数:0

~ 按位取反运算解析

今天我在看简明Python指南的时候,看到其中一个计算机计算的问题,它是这样描述的: x的按位取反结果为-(x+1) ~5 输出 -6。有关本例的更多细节可以参阅:http://stackoverflow.com/a/11810203 看到这儿我就疑惑了,之前在大学中学习的计算机基础课程又还...

2018-01-28 14:39:56

阅读数:721

评论数:0

linux用户登陆时,配置自动加载执行shell脚本的做法

通过 /etc/motd 文件中直接加入脚本内容或在 /etc/profile.d 文件夹中加入.sh执行脚本文件,可以实现在linux用户登陆后,自动执行脚本内容。大家观察 /etc/profile.d 文件夹下,有许多我们非常熟悉的内容,包括vim、less等: [elon@spark ~...

2018-01-28 02:10:21

阅读数:755

评论数:2

克隆VMware虚拟机及克隆后修改系统参数的全过程

克隆VM lunix虚拟机 克隆之前local模式下调试的spark虚拟机,采用克隆完整文件的模式 修改unix系统参数 通过上一步的克隆,得到多个unix系统环境,现在拿其中一个进行修改举例,其余部分大致相同,除了IP和主机名以外。 第一步 修改mac地址 在虚拟机...

2018-01-27 02:06:46

阅读数:979

评论数:0

Java中获得查询日期的上月末的日期

Java中获得查询日期的上月末的日期,通过calendar类来进行日期格式的转换和调用。 具体代码如下,注释即为代码解析 @Bizlet("获得查询日期的上月末的日期") public String getLastMonthDate(String D...

2018-01-26 20:44:37

阅读数:420

评论数:0

org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io..

这是在Windows环境下执行Spark程序时出现的,本人的windows系统中 安装的是Hadoop2.7.5包,可跨windows平台执行的包已发布在csdn下载栏中,【点击获取】 执行Spark程序,saveAsTextFile(path)函数时出现异常 An exception or ...

2018-01-26 16:52:21

阅读数:208

评论数:0

maven官方安装及编译教程 | maven官方文档

maven 构建Java应用及其他应用的入门教程,建议读者参考Spring的官方文档 【点击跳转】 这里主要说明下,我们maven中编译Java代码的几个关键命令的说明,首先贴出maven帮助文档中对这几个命令的描述: mvn compile This will run Maven, te...

2018-01-25 22:42:48

阅读数:72

评论数:0

Git忽略规则及.gitignore规则不生效的解决办法 | 修改.gitignore文件Github上不生效的解决办法

在git中如果想忽略掉某个文件,不让这个文件提交到版本库中,可以使用修改根目录中 .gitignore 文件的方法(如无,则需自己手工建立此文件)。这个文件每一行保存了一个匹配的规则例如: # 此为注释 – 将被 Git 忽略 *.a # 忽略所有 .a 结尾的文件 !lib.a ...

2018-01-25 03:43:21

阅读数:105

评论数:0

【Windows中Spark环境搭建 | 基于Maven依赖库】在windows中对spark程序进行local调试学习

写在开头 本博客的目标是可以在不开启spark集群 | Linux虚拟机的情况下,对Spark RDD程序的完美运行,旨在解放初学者应无Linux集群环境、无内存容量支撑的情况下运行spark程序,写这篇的灵感来源于自己在学习Spark时,看官方文档中介绍spark standalone模式部署...

2018-01-22 23:02:17

阅读数:160

评论数:0

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform..

启动或执行Hadoop | Spark程序时出现警告 18/01/22 17:50:39 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java class...

2018-01-22 19:33:37

阅读数:113

评论数:0

自定义csdn博客栏目参考

专栏装饰代码持续更新中… 也欢迎各位喜欢折腾的朋友 分享出你的好设计 下载及长期维护地址 【csdn博客栏目自定义】 专栏一:个人资料 | 欢迎关注 由于排版原因,这里就仅贴出该专栏的截图和代码展示 效果图展示 代码展示 div> div align=...

2018-01-22 15:21:31

阅读数:114

评论数:0

java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IIL...

在window Eclipse中运行Hadoop和Spark程序时会遇见如下异常错误java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/Byt...

2018-01-22 13:51:31

阅读数:673

评论数:2

配置和启动Spark | local模式以及standalone模式

Spark Local模式 直接在 $SPARK_HOME/bin/spark-shell 中运行spark RDD程序,在UI界面http://nodename:4040/中可以看到jobs的执行情况 [elon@spark ~]$ spark-shell --master local ...

2018-01-21 10:47:59

阅读数:753

评论数:0

Eclipse+Maven+Scala Project+Spark | 编译并打包wordcount程序

学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程。 本项目源码已托管于Github –>【Spark-wordcount】 第一步 在EclipseIDE中安装Scala插件 在Eclipse中安装Scala插件 第二步 创建Scala Proje...

2018-01-12 18:47:18

阅读数:1018

评论数:0

Spark构建独立应用 | sbt应用构建打包

学习用sbt来构建并打包一个简单的单词统计的例程。 第一步 创建Scala版的单词统计应用 WordCount.scala /** * Illustrates flatMap + countByValue for wordcount. */ import org.apache.spark...

2018-01-07 01:08:39

阅读数:162

评论数:0

使用Scala

在Scala中,对于脚本文件,其扩展名为.sc,而编译后的文件扩展名为.scala。 加载脚本文件并执行 通常对于脚本文件,使用scala环境,然后使用:load命令加载(编译并运行)文件: # upper1.sc class Upper{ def upper(strings: St...

2018-01-03 19:58:26

阅读数:144

评论数:0

安装Scala

在最近的学习中,由于要着手学习Spark,而Spark又是右Scala语言编写的,所以在学习的时候,难免后遇到有关scala的语法知识以及编程技巧等,再加之被scala简介的代码所吸引,于是乎决定在Scala上先入门… 在安装Scala之前,需要确保自己的机器的JVM环境是Java 8以上,若不...

2018-01-03 19:47:18

阅读数:131

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭