- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 在spark集群中通过hive访问mysql数据库
除hive客户端外，所有模块都安装于spark集群中的master机器1.安装spark集群（参考http://blog.csdn.net/ronaldo4511/article/details/52886672）2.安装 mysql1) 查看系统当前是否已安装mysqlrpm -qa | grep mysqk # 列出和mysql相关的包，本机的结果只有一条 mysql-li
2016-11-30 19:46:47
4081
1
原创 spark2.0版本的 DataFrame、DataSet 与 Spark sql
参考：http://www.cnblogs.com/seaspring/p/5804178.htmlhttps://my.oschina.net/cjun/blog/655263?p={{currentPage%201}}http://spark.apache.org/docs/latest/sql-programming-guide.html1. 相关概念1) R
2016-11-30 11:44:01
7202
原创 RDD转换为DataFrame的两种方式及spark sql的简单实例
参考 http://zhao-rock.iteye.com/blog/2328161package spark_sqlimport util.HDFSHelperimport java.io.{File, PrintWriter}import org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.FileSy
2016-11-28 16:26:57
11420
原创 value toDF is not a member of org.apache.spark.rdd.RDD[People]
编译如下代码时，出现value toDF is not a member of org.apache.spark.rdd.RDD[People] 错误val rdd : RDD[People]= sparkSession.sparkContext.textFile(hdfsFile,2).map(line => line.split(",")).map(arr => People(arr(0
2016-11-28 16:07:08
6203
1
原创 scala中hdfs文件的操作
对于org.apache.hadoop.fs.Path来说， path.getName只是文件名，不包括路径 path.getParent也只是父文件的文件名，同样不包括路径 path.toString才是文件的全路径名以下是hdfs文件操作的工具类package utilimport org.apache.hadoop.fs._import scala.collection.mutable.{H
2016-11-24 20:18:19
22665
原创 svn笔记
1.使用android studio checkout svn工程如何切换svn账号打卡 tortoisesvn的settings，在saved data中清除之前的认证信息即可
2016-11-17 08:43:19
316
原创 app实现状态栏和导航栏沉浸效果
在activity的oncreate方法中添加如下代码即可：//当系统版本为4.4或者4.4以上时可以使用沉浸式状态栏if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.KITKAT) { //透明状态栏 getWindow().addFlags(WindowManager.LayoutParams.FLAG_TRANSLUC
2016-11-10 15:29:18
1712
原创 spark错误记录
1.问题：使用 ssh pa 登录 pa虚拟机时报错：ssh: connect to host pa port 22:no route to host原因：如果不是防火墙的问题，那么可能是pa的ip与记录在 /etc/hosts文件中pa的ip不一致解决：update /etc/hosts文件中pa的ip
2016-11-07 15:34:57
389
原创 使用idea sbt运行spark程序
1.新建scala-sbt 项目2.待sbt及相关依赖下载完成后，配置spark依赖spark 2.0.0后，目录下没有lib文件夹，也找不到assembly jar包，实际上该jar已经分拆成了spark安装目录下的jars文件夹下的各jar包。导入依赖如下打开idea - file - project structure - libraries，点击“+” - java，选择jar
2016-11-04 16:18:54
6988
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人