![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 60
易悠
事在人为
展开
-
基于Spark构建推荐引擎
基于Spark构建推荐引擎之一:基于物品的协同过滤推荐http://blog.csdn.net/sunbow0/article/details/42737541Spark构建推荐引擎之二:基于Spark Streaming 实时推荐计算http://blog.csdn.net/sunbow0/article/details/43456805 学习转载:http://blog.csdn.net/s原创 2015-07-23 10:23:11 · 1473 阅读 · 0 评论 -
Spark Streaming实战(一)
Spark Streaming实战原创 2016-03-27 19:16:41 · 556 阅读 · 0 评论 -
Spark Streaming实战(二)
Spark Streaming实战原创 2016-03-27 19:17:06 · 527 阅读 · 0 评论 -
Spark Streaming实战(三)
Spark Streaming实战原创 2016-03-27 19:18:20 · 14432 阅读 · 0 评论 -
ERROR executor.Executor: Exception in task 0.0 in stage 0.0 (TID 0) java.lang.IllegalArgumentExcepti
D:\Java\bin\java -Didea.launcher.port=7537 "-Didea.launcher.bin.path=D:\IntelliJ IDEA Community Edition 15.0.4\bin" -classpath C:\Users\Administrator.PC-201512221019\AppData\Local\Temp\classpath18.jar原创 2016-05-27 10:13:03 · 27964 阅读 · 1 评论 -
Spark1.6.0 on Hadoop-2.6.3 安装配置
安装配置Scala1 下载scala 下载解压scala包:略 附:下载链接 http://www.scala-lang.org/download/2.10.4.html移动scala到指定目录mkdir /usr/local/scalamv scala-2.10.4 /usr/local/scala 2 配置scala环境变量export SCALA_HOME=/usr/l原创 2016-01-14 14:05:46 · 2166 阅读 · 0 评论 -
zeppelin-0.7.2-bin-all 安装与使用
1 下载官方地址:http://zeppelin.apache.org/2 修改 conf/zeppelin-env.sh, export SPARK_HOME3 修改conf/zeppelin-site.xml 中的 zeppelin.server.portcp zeppelin-site.xml.template zeppelin-site.xmlvim zeppelin-site.xml4原创 2017-08-01 15:36:26 · 2051 阅读 · 0 评论 -
Hadoop2.6.5/Spark1.6.3 HA集群构建
1 规划部署一共9台机器,HA架构:2台Master,6台Worker,1台Client1.1 网络规划:主机名: sparker001 IP: 192.168.1.101 网关 192.168.1.254 主机名: sparker002 IP: 192.168.1.102 网关 192.168.1.原创 2017-08-02 21:55:20 · 1732 阅读 · 0 评论 -
Maven编译Spark源码总结
1 通过Git下载Spark源码git clone https://github.com/apache/spark.git2 切换Spark源码分支git branch -a git checkout v1.6.3(或者直接下载对应分支的Spark源代码),确保要有make-distribution.sh文件3 修改 make-distribution.sh 文件MVN="/home/hjr/Mav原创 2017-03-06 22:03:06 · 1993 阅读 · 1 评论 -
Spark实战-Spark SQL(三)
SparkSQL实战原创 2016-03-27 19:15:21 · 684 阅读 · 0 评论 -
Spark实战-Spark SQL(二)
SparkSQL实战原创 2016-03-27 19:09:31 · 555 阅读 · 0 评论 -
Caused by: java.io.IOException: Permission denied at java.io.UnixFileSystem.createFileExclus
[hjr@master bin]$ ./spark-shellPicked up _JAVA_OPTIONS: -Xmx2048m -XX:MaxPermSize=512m -Djava.awt.headless=truePicked up _JAVA_OPTIONS: -Xmx2048m -XX:MaxPermSize=512m -Djava.awt.headless=true16/03/3原创 2016-03-31 15:58:54 · 11372 阅读 · 0 评论 -
Spark Streaming
Spark Streaming之一:StreamingContext解析http://blog.csdn.net/sunbow0/article/details/42966467Spark Streaming之二:DStream解析http://blog.csdn.net/sunbow0/article/details/43091247 学习转载:http://blog.csdn.net/sun原创 2015-07-23 10:25:01 · 550 阅读 · 0 评论 -
Spark SQL
Spark SQL 1.2(building-spark1.2, sparksql on hive,spark-sql)http://blog.csdn.net/sunbow0/article/details/42487761 学习转载:http://blog.csdn.net/sunbow0/article/list/2原创 2015-07-23 10:27:29 · 572 阅读 · 0 评论 -
Spark MLlib 算法
Spark MLlib KMeans聚类算法http://blog.csdn.net/sunbow0/article/details/45673613Spark MLlib Statistics统计http://blog.csdn.net/sunbow0/article/details/45644273Spark MLlib FPGrowth算法http://blog.csdn.net/sunbow原创 2015-07-23 10:18:33 · 2113 阅读 · 0 评论 -
Scala-包、类、对象、成员、伴生类、伴生对象 访问权限
Scala 包、类、对象、成员 访问权限/** * Created by Administrator on 2015/10/13. */package spark{ package navigation{ private [spark] class Navigator{ protected[navigation] def useStarChart(){}原创 2015-10-16 16:50:03 · 1311 阅读 · 0 评论 -
Spark SQL 源码分析系列文章
Spark SQL—–Spark SQL 源码分析系列文章—–原创 2015-10-12 21:58:37 · 1214 阅读 · 0 评论 -
Hadoop2.6.3 安装配置
下载 解压Hadoop2.6.3 tar文件下载链接:http://hadoop.apache.org/releases.html解压文件,至当前文件夹:tar -xzvf hadoop-2.6.3.tar.gz 新建自己的Hadoop目录,移动文件至该目录中新建hadoop目录mkdir /usr/local/hadoop移动解压后的文件到自己新建的hadoop目录当中mv hadoop-2原创 2016-01-10 17:47:03 · 2973 阅读 · 0 评论 -
Ubuntu15.10 安装配置SSH服务
## 下载安装SSH ##Ubuntu 下的命令:apt-get install ssh启动SSH服务/etc/init.d/ssh start使用命令验证服务是否启动成功ps -e | grep ssh设置免密码登录SSH生成公钥(id_rsa.pub)和私钥(id_rsa)将公钥(id_rsa.pub)追加到authorized_keys中(authorized_keys中保存所有用户允许以原创 2016-01-08 14:51:47 · 2815 阅读 · 0 评论 -
Spark实战-Spark SQL(一)
本文是按照周志胡老师的博客实践的,再次特别感谢周老师!Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark SQL案例实战(一) http://blog.csdn.net/lovehuangjiaju/article/details/50639287分为以下主要的几步:获取数据 创建DataFrame DataFrame方法实战 DataFrame注册成临时表使用实战首先原创 2016-02-06 18:02:02 · 4152 阅读 · 0 评论 -
Pima印第安人数据集上的机器学习-分类算法(根据诊断措施预测糖尿病的发病)
数据集简介该数据集最初来自国家糖尿病/消化/肾脏疾病研究所。数据集的目标是基于数据集中包含的某些诊断测量来诊断性的预测 患者是否患有糖尿病。从较大的数据库中选择这些实例有几个约束条件。尤其是,这里的所有患者都是Pima印第安至少21岁的女性。数据集由多个医学预测变量和一个目标变量组成Outcome。预测变量包括患者的怀孕次数、BMI、胰岛素水平、年龄等。1 加载库imp...原创 2018-04-02 16:49:37 · 21850 阅读 · 10 评论