Spark
文章平均质量分 60
易悠
事在人为
展开
-
Spark 临时记录
讯方实训平台 xunfangBD项目基础Jar包设置日志输出级别// import org.apache.log4j.{Level, Logger}Logger.getRootLogger.setLevel(Level.WARN)0 本地开Jar包添加 1 添加Spark源码,调试Spark程序可以参原创 2016-04-07 10:10:10 · 1983 阅读 · 0 评论 -
Spark实战-Spark SQL(三)
SparkSQL实战原创 2016-03-27 19:15:21 · 674 阅读 · 0 评论 -
Spark实战-Spark SQL(二)
SparkSQL实战原创 2016-03-27 19:09:31 · 549 阅读 · 0 评论 -
Caused by: java.io.IOException: Permission denied at java.io.UnixFileSystem.createFileExclus
[hjr@master bin]$ ./spark-shellPicked up _JAVA_OPTIONS: -Xmx2048m -XX:MaxPermSize=512m -Djava.awt.headless=truePicked up _JAVA_OPTIONS: -Xmx2048m -XX:MaxPermSize=512m -Djava.awt.headless=true16/03/3原创 2016-03-31 15:58:54 · 11315 阅读 · 0 评论 -
java.lang.IllegalArgumentException: System memory ... must be at least ... Please use a larger heap
java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use a larger heap size.解决:设置应用程序的 VM optionsidea的设置路径在:Run -Edit Configurations-Application选择对应的程序,设置VM o原创 2016-02-17 02:30:19 · 19261 阅读 · 0 评论 -
Spark1.6.0使用apache-maven-3.3.9编译详细记录
1. apache-maven-3.39安装配置1-1. 下载解压maven官方下载地址 http://maven.apache.org/download.cgi解压到指定目录:(我下载并解压到了E盘根目录) 1-2. 验证JAVA_HOME是否配置检查JAVA环境变量值:echo %JAVA_HOME% ok,这都没有问题。如果没有,则自行安装配置java环境变量,此处不再赘述,不过原创 2016-02-16 01:33:33 · 2363 阅读 · 0 评论 -
Spark实战-Spark SQL(一)
本文是按照周志胡老师的博客实践的,再次特别感谢周老师!Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark SQL案例实战(一) http://blog.csdn.net/lovehuangjiaju/article/details/50639287分为以下主要的几步:获取数据 创建DataFrame DataFrame方法实战 DataFrame注册成临时表使用实战首先原创 2016-02-06 18:02:02 · 4118 阅读 · 0 评论 -
Ubuntu15.10 安装配置SSH服务
## 下载安装SSH ##Ubuntu 下的命令:apt-get install ssh启动SSH服务/etc/init.d/ssh start使用命令验证服务是否启动成功ps -e | grep ssh设置免密码登录SSH生成公钥(id_rsa.pub)和私钥(id_rsa)将公钥(id_rsa.pub)追加到authorized_keys中(authorized_keys中保存所有用户允许以原创 2016-01-08 14:51:47 · 2800 阅读 · 0 评论 -
Hadoop集群安装过程详细记录
1:配置集群静态IP2:安装SSH,设置SSH无密钥登录3: 设置 hostname(ip-hostname)4: 配置Jdk5: 检查防火墙状态,确认为关闭状态ubuntu下查看防火墙状态 :sudo ufw status,默认为关闭(Status inactive)CentOS默认为打开状态6:下载Hadoop,做相关配置core-site.xmlhdfs-site.xmlmaped原创 2016-01-02 23:36:03 · 630 阅读 · 0 评论 -
Hadoop2.6.3 安装配置
下载 解压Hadoop2.6.3 tar文件下载链接:http://hadoop.apache.org/releases.html解压文件,至当前文件夹:tar -xzvf hadoop-2.6.3.tar.gz 新建自己的Hadoop目录,移动文件至该目录中新建hadoop目录mkdir /usr/local/hadoop移动解压后的文件到自己新建的hadoop目录当中mv hadoop-2原创 2016-01-10 17:47:03 · 2964 阅读 · 0 评论 -
docker pull sequenceiq/spark:1.5.1
docker pull sequenceiq/spark:1.5.1 docker build –rm -t sequenceiq/spark:1.5.1Running the image1: docker run -it -p 8088:8088 -p 8042:8042 -h sandbox sequenceiq/spark:1.5.1 bash or 2: docker r原创 2015-11-07 10:39:20 · 2622 阅读 · 0 评论 -
Spark Streaming实战(一)
Spark Streaming实战原创 2016-03-27 19:16:41 · 550 阅读 · 0 评论 -
Spark Streaming实战(二)
Spark Streaming实战原创 2016-03-27 19:17:06 · 524 阅读 · 0 评论 -
Maven编译Spark源码总结
1 通过Git下载Spark源码git clone https://github.com/apache/spark.git2 切换Spark源码分支git branch -a git checkout v1.6.3(或者直接下载对应分支的Spark源代码),确保要有make-distribution.sh文件3 修改 make-distribution.sh 文件MVN="/home/hjr/Mav原创 2017-03-06 22:03:06 · 1982 阅读 · 1 评论 -
Hadoop2.6.5/Spark1.6.3 HA集群构建
1 规划部署一共9台机器,HA架构:2台Master,6台Worker,1台Client1.1 网络规划:主机名: sparker001 IP: 192.168.1.101 网关 192.168.1.254 主机名: sparker002 IP: 192.168.1.102 网关 192.168.1.原创 2017-08-02 21:55:20 · 1723 阅读 · 0 评论 -
zeppelin-0.7.2-bin-all 安装与使用
1 下载官方地址:http://zeppelin.apache.org/2 修改 conf/zeppelin-env.sh, export SPARK_HOME3 修改conf/zeppelin-site.xml 中的 zeppelin.server.portcp zeppelin-site.xml.template zeppelin-site.xmlvim zeppelin-site.xml4原创 2017-08-01 15:36:26 · 2045 阅读 · 0 评论 -
CDH5.9.0集群部署与搭建
最近新购了一台工作站,急切的想试一下手,就搭建个CDH集群吧,练练手,顺便了解一下最新版的CDH长成什么样子了…… 工作站的配置:Thinkpad P50,Intel(R)Xeon E3 1505M [email protected] 2.81GHz ;内存48G;显卡4G……1 下载CDH各种RPM包1.1 下载cloudera-manager-installer.bin这个地址可以选择最新的CM的安装文原创 2016-11-23 20:59:55 · 13380 阅读 · 6 评论 -
Hive 1.2.1 安装测试
1 安装MySQL安装服务器:sudo apt-get install mysql-server(注意:期间需要设置root用户的密码哟) 安装客户端:sudo apt-get install mysql-clientsudo apt-get install libmysqlclient-dev检查系统中是否有MySQL服务,出现下面的大概就是成功了sudo netstat -tap|g原创 2016-12-23 20:50:53 · 1679 阅读 · 0 评论 -
Spark1.6.0 on Hadoop-2.6.3 安装配置
安装配置Scala1 下载scala 下载解压scala包:略 附:下载链接 http://www.scala-lang.org/download/2.10.4.html移动scala到指定目录mkdir /usr/local/scalamv scala-2.10.4 /usr/local/scala 2 配置scala环境变量export SCALA_HOME=/usr/l原创 2016-01-14 14:05:46 · 2163 阅读 · 0 评论 -
Spark2.0源码阅读环境搭建 开发环境搭建
Spark2.0源码阅读环境和Spark开发环境,我们选择使用IDEA社区版,所以下载IDEA社区版;并且使用Java8环境。1 jdk8安装下载略 解压到当前目录tar -xzvf jdk-8u101-linux-x64.tar.gz ………… 查看 移动到相应目录(自己新建的目录)mv jdk1.8.0_101 /home/hjr/develop/java82 IDEA 安装原创 2016-08-20 16:05:20 · 6420 阅读 · 2 评论 -
bad symbolic reference. A signature in RDD.class refers to term hadoop in package org.apache which i
Error:scalac: bad symbolic reference. A signature in RDD.class refers to term hadoopin package org.apache which is not available.It may be completely missing from the current classpath, or the versio原创 2016-06-20 13:58:07 · 3882 阅读 · 4 评论 -
ERROR executor.Executor: Exception in task 0.0 in stage 0.0 (TID 0) java.lang.IllegalArgumentExcepti
D:\Java\bin\java -Didea.launcher.port=7537 "-Didea.launcher.bin.path=D:\IntelliJ IDEA Community Edition 15.0.4\bin" -classpath C:\Users\Administrator.PC-201512221019\AppData\Local\Temp\classpath18.jar原创 2016-05-27 10:13:03 · 27636 阅读 · 1 评论 -
Spark Streaming实战(三)
Spark Streaming实战原创 2016-03-27 19:18:20 · 604 阅读 · 0 评论 -
Error:scalac: IO error while decoding PackageOps.scala with UTF-8 Please try specifying another one
IDEA编码错误Error:scalac: IO error while decoding D:\Develop\Scala\IntelliJ IDEA Projects\scalaProjects\src\kmust\hjr\learningScala16\PackageOps.scala with UTF-8Please try specifying another one using the原创 2015-10-13 16:29:38 · 7773 阅读 · 1 评论 -
Spark SQL 源码分析系列文章
Spark SQL—–Spark SQL 源码分析系列文章—–原创 2015-10-12 21:58:37 · 1210 阅读 · 0 评论 -
Scala:基于trait的多重继承构造器的执行顺序、基于trait的AOP实践
多重继承package kmust.hjr.learningScala15/** * Created by Administrator on 2015/7/20. */class Human{ println("Human")}trait TTeacher extends Human{ println("TTeacher") def teach}trait Piano原创 2015-07-21 00:30:41 · 846 阅读 · 0 评论 -
Scala : 单例对象、伴生类、伴生对象
单例对象、伴生类、伴生对象单例对象Scala是没有Static静态对象和属性的,但他拥有伴生对象(类似)伴生类 学习:探索Scala(3)单例对象 http://m.blog.csdn.net/blog/SpiderDog/40426987伴生对象(Object ClassName)伴生对象,与类共享名字,可以访问类的私有属性和方法 通常,一个类对应一个伴生对象package kmus原创 2015-07-14 20:23:26 · 642 阅读 · 0 评论 -
Scala:类的属性、对象私有属性
类的基本操作(1)package kmust.hjr.learningScala07/** * Created by Administrator on 2015/7/14. */class Person { private var age=0 /* *['inkrim(e)nt] increase/growth/rise */ def increment(): Unit原创 2015-07-14 16:35:02 · 2995 阅读 · 0 评论 -
抽象类、抽象字段、抽象方法
实例package kmust.hjr.learningScala13/** * Created by Administrator on 2015/7/14. */class AbstractClassOps{ var id:Int=_}abstract class SuperTeacher(val name:String){ var id :Int var age :Int原创 2015-07-14 22:19:27 · 1370 阅读 · 0 评论 -
Scala中的继承:超类的构造、重写字段、重写方法
Person1类package kmust.hjr.learningScala12/** * Created by Administrator on 2015/7/14. */class Person1(val name:String,var age:Int){ println("The primary constructor of Person1 !") val school="KMU原创 2015-07-14 21:53:50 · 3816 阅读 · 0 评论 -
Scala:内部类
内部类说明:java中:内部类纯属于类的—(new)//外部类class Out { private int age = 12; //内部类 class In { public void print() { System.out.println(age); } }}public class Demo { public原创 2015-07-14 19:40:22 · 857 阅读 · 0 评论 -
Scala : Map、Tuple、Zip
Map操作(1)val map=Map("Spark"->30,"Scala"->50,"BigData"->80)for((k,v)<-map)yield(k,v*0.9)map: scala.collection.immutable.Map[String,Int] = Map(Spark -> 30, Scala -> 50, BigData -> 80)res0: scala.collec原创 2015-07-14 14:37:40 · 912 阅读 · 0 评论 -
Scala数组操作
数组基本操作(1)val s=Array("Hello","World")s(0)="Goodbye"for(elem <- s)println(elem)在Scala Worksheet里面的执行结果:s: Array[String] = Array(Hello, World)res0: Unit = ()GoodbyeWorldres1: Unit = ()注:将字符串“Goodby原创 2015-07-13 21:57:02 · 3393 阅读 · 0 评论 -
For循环与Function函数 进阶
Scala : For循环与Function函数进阶原创 2015-07-13 15:52:13 · 3273 阅读 · 0 评论 -
Scala : Tuple、Array、Map、文件操作
Scala基础: Tuple 、Array 、Map 、文件操作原创 2015-07-13 11:18:05 · 653 阅读 · 0 评论 -
Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)
Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)http://blog.csdn.net/sunbow0/article/details/47007765http://blog.csdn.net/sunbow0/article/details/47007831http://blog.csdn.net/sunbow0/原创 2015-07-23 10:02:53 · 934 阅读 · 0 评论 -
Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)
Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)(1)http://blog.csdn.net/sunbow0/article/details/46377785(2)http://blog.csdn.net/sunbow0/article/details/46378031(3)http://blog.csdn.net/sunbow原创 2015-07-23 10:05:54 · 839 阅读 · 0 评论 -
Scala中的 apply
Apply的应用实例package kmust.hjr.learningScala11/** * Created by Administrator on 2015/7/14. */class ApplyTest{ def apply()=println("I want to speak good english !") def haveATry: Unit ={ println(原创 2015-07-14 21:05:18 · 1122 阅读 · 0 评论 -
Scala-包、类、对象、成员、伴生类、伴生对象 访问权限
Scala 包、类、对象、成员 访问权限/** * Created by Administrator on 2015/10/13. */package spark{ package navigation{ private [spark] class Navigator{ protected[navigation] def useStarChart(){}原创 2015-10-16 16:50:03 · 1303 阅读 · 0 评论 -
Scala中的本地函数
定义本地函数示例 /** * 自定义数据处理函数 * @param fileName * @param width */ def processData(fileName:String,width:Int){ //定义本地函数-("内部/私有函数...") def processLine(line:String){ if(line.length>原创 2015-10-17 17:30:04 · 1134 阅读 · 0 评论