spark
尔笑惹千愁
失之毫厘,差之千里
展开
-
Spark项目之 sparkDemo 九 SparkDemo的环境提供和使用方式
我看了一下我写的博客,确实从各个方面来说,写的的确很不好;如果有看完并且不懂得兄弟可以使用我搭建好的环境,使用方法如下:使用的环境:VMware Workstation 10。VM下载地址:链接:https://pan.baidu.com/s/1hJ3oNwfnDQ_kFlJCQO1ZvA 提取码:vvij 环境下载地址:链接:链接:https://pan.baidu.com/s/1F...原创 2018-11-19 10:06:10 · 362 阅读 · 0 评论 -
Spark项目之 sparkDemo 八 SparkDemo打包并且Spark任务提交
代码我们已经写好了,接下来我们就是打包,然后再环境上去执行了,打包方式如下: 在服务器的home目录下创建一个文件夹sparkSubmit然后将打包的jar包上传sparkSubmit,然后再写一个启动脚本任务提交方式和参数请参考官方文档:http://spark.apache.org/docs/latest/submitting-applications.html,s...原创 2018-11-09 16:08:58 · 376 阅读 · 0 评论 -
Spark项目之 sparkDemo 七 SparkDemo解析
下面我们在来看,我们把各个查询数据方法分开进行,然后把数据整合起来,readShadowSocks方法我们用来读取登陆数据readHistory读取注册数据,retainAddData方法进行数据分析整合,outJDBCData方法将留存数据写进mysql中package com.shadowsocksimport org.apache.spark.sql.SparkSession...原创 2018-11-09 15:45:52 · 397 阅读 · 0 评论 -
Spark项目之 sparkDemo 六 SparkSession数据读取测试
项目介绍,这个项目主要做一个注册历史统计留存。我这里不用sparkCore的方式来做(我觉得sparkCore的方式比较适合做数据整理),因为我觉得这种方式不是特别方便我这里就直接使用 DataFrame,当然最直接的方式就是看官方的文档:官方地址:http://spark.apache.org/docs/1.6.2/api/scala/index.html#org.apache.spark....原创 2018-11-09 14:33:28 · 2199 阅读 · 0 评论 -
Spark项目之环境搭建(单机)五 配置eclipse的scala环境,并创建spark项目
先安装scala 环境:eclipse版:spring-tool-suite-3.9.1.RELEASE-e4.7.1a-win32-x86_64下载地址:https://www.scala-lang.org/download/ 然后配置环境变量,参考以下地址:http://www.runoob.com/scala/scala-install.html打开eclipse 然...原创 2018-11-09 12:58:04 · 360 阅读 · 0 评论 -
Spark项目之环境搭建(单机)四 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安装
上传解压 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,重命名tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop进入sqoop下的conf目录:cd /home/sqoop/conf,然后将sqoop-env-template.sh 拷贝一份命...原创 2018-11-09 09:26:56 · 1923 阅读 · 0 评论 -
Spark项目之环境搭建(单机)二 hive-2.3.3安装
上传hive架包,然后解压:tar -zxf apache-hive-2.3.3-bin.tar.gz hive重命名 mv apache-hive-2.3.3-bin hive将mysql的驱动包加入hive的lib文件下面进入hive目录下的confcd /home/hive/conf/把初始化的文件 复制一份出来 并且改名cp hive-env...原创 2018-11-09 08:52:06 · 1443 阅读 · 0 评论 -
Spark项目之环境搭建(单机)一 hadoop 2.8.5安装
我用的hadoop2.8.5 + apache-hive-2.3.3 +sqoop-1.4.7 + jdk1.8 + mysql 5.7 + scala-2.12.7 + spark-2.3.2-bin-hadoop2.7第一步上传所需的包:我把所有的包都放在了home下面,如下:先安装jdk 和mysql : jdk安装:https://blog.csdn.net/l...原创 2018-11-09 08:49:20 · 2281 阅读 · 1 评论 -
Spark项目之环境搭建(单机)三 scala-2.12.7+ spark-2.3.2-bin-hadoop2.7安装
上传scala和spark架包scala官网下载:https://www.scala-lang.org/download/spark官网下载:http://spark.apache.org/downloads.html解压然后重命名tar -zxf scala-2.12.7.tgzmv scala-2.12.7 scala tar -zxf spark-2.3...原创 2018-11-09 08:49:01 · 3110 阅读 · 0 评论