- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Ubuntu16.04 Mongodb搭建
1.为软件包管理系统导入公钥。sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv EA3129272、为MongoDB创建列表文件echo "deb http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.2 multiverse" | sudo tee /etc/
2017-03-23 14:20:37
306
原创 windows下 eclipse for scala+spark+mongodb
新建scala项目，只要把spark和mongodb的jar包导入项目即可 spark下载地址 http://spark.apache.org/downloads.htmlmongodb spark connetor下载地址 https://www.javadoc.io/doc/org.mongodb.spark/mongo-spark-connector_2.11/2.0.0右键项目，Bui
2017-03-21 18:52:06
505
原创 Spark基本概念
1、基本架构 spark程序由Driver Program和Executor Program组成。Driver Program由SparkContext构建，提供应用程序的运行环境。而Executor Program是应用程序的主体部分，在各个节点运行。2、基本概念 2.1 - Application：指的是用户编写的Spark应用程序，包含了含有一个Driver Program和分布在集
2017-03-09 17:06:25
332
原创 Intelli Idea下 一个Spark的小例子
使用的是Ubuntu16.04 1、下载Intelli Idea的Community版本，并解压放到/opt/路径下，这里下载的为2016.3.5版本 http://www.jetbrains.com/idea/download/#section=windows2、打开终端，进入解压后的idea目录，运行bin下idea.shcd /opt/idea bin/idea.sh3、点击右下角
2017-03-08 10:13:34
1121
原创 Ubuntu下spark开发（Local模式）
Ubuntu下spark开发（Local模式）1、下载scala、spark、jdk并解压至/opt/路径下 scala下载地址： http://www.scala-lang.org/ 解压路径：/opt/scala spark下载地址：http://spark.apache.org/downloads.html 解压路径：/opt/spark-hadoop jdk下载地址：ht
2017-03-06 09:05:08
578
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人