Spark学习
lyn5284767
这个作者很懒,什么都没留下…
展开
-
VMware Workstation 无界面linux系统(centos6.5),命令行安装VMTools,并建立共享文件夹
1、VMware tools安装 1.1 选中要安装VMware tools的linux虚拟机,然后点击VMware Workstation10顶部的“虚拟机(M)”按钮,选中“安装VMware tools”按钮,此时VMware tools的安装包就会默认放在/dev/cdrom目录中。1.2进入该Linux系统中的命令行,建立一个挂载cdrom的目录[root@master /]#...原创 2018-09-19 14:33:53 · 5304 阅读 · 1 评论 -
Mongodb数据库搭建
1,下载MongoDB(64位)wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz2,安装MongoDB(安装到/sparklearning)tar –zvxf mongodb-linux-x86_64-2.4.9.tgz3,修改文件名(必须修改,不然路径中包含了‘-’和‘.’会导致程序读取不到)...原创 2018-09-27 09:04:29 · 164 阅读 · 0 评论 -
hadoop搭建常见错误
一,集群电脑,ssh生成密匙,必须也放到本机,不然执行hadoop-daemons.sh start journalnode会报错,Prmission denied二,格式化HDFS(集群机器都需要执行)三,journalnode启动不了一定要检查防火墙是否关闭...原创 2018-09-22 17:32:50 · 305 阅读 · 0 评论 -
Spark集群搭建
(1)JDK 1.8 安装在根目录下创建sparkLearning目前,后续所有相关软件都放置在该目录下,代码如下:[root@slave01 /]# mkdir /sparkLearning[root@slave01 /]# lsbin etc lib media proc selinux sys varboot ...转载 2018-09-22 17:34:03 · 2536 阅读 · 0 评论 -
windows系统下pycharm远程访问linux系统下jupyter notebook,并调用spark平台(一)-VMware Workstation设置
一,虚拟机信息准备了3台虚拟机,1台作master,2台作slave。系统:centos 7。二,虚拟机网络设置3台虚拟机都需要进行设置1,修改VMware网络模式为桥接模式:2,设置静态IP和网络输入: cd /etc/sysconfig/network-scripts/输入:ls查看网络配置文件不同电脑可能文件不同,本例中配置文件为ifcfg...原创 2018-12-19 14:09:27 · 647 阅读 · 0 评论 -
windows系统下pycharm远程访问linux系统下jupyter notebook,并调用spark平台(二)-linux系统免密码登录
一,openssl安装查看openssl版本输入:openssl version有结果,则已经安装了openssl,如无结果则需要安装。下载opensslhttp://www.openssl.org/source/openssl-1.1.0e.tar.gz将其放入windows共享文件夹中。如无gcc则还需要安装gcc输入:yum -y install gcc...原创 2018-12-19 15:39:10 · 316 阅读 · 0 评论 -
windows系统下pycharm远程访问linux系统下jupyter notebook,并调用spark平台(三)-hadoop平台搭建
一,安装jdk创建目录输入:mkdir /usr/lib/jvm拷贝下载好的jdk放入解压修改环境变量在文件最后加入:export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$JAVA_HOME/lib:$CLASSPATH...原创 2018-12-19 17:01:36 · 556 阅读 · 0 评论 -
windows系统下pycharm远程访问linux系统下jupyter notebook,并调用spark平台(四)spark平台搭建
三台linux系统机器,分别为192.168.88.177 主机名master,192.168.88.178 主机名slave2,192.168.88.179 主机名slave3一,Sacla安装本例下载的是scala2.12.8,将文件放在/opt文件夹下首先进入/opt文件夹解压文件修改环境配置文件在文件末尾添加:使环境生效:检查版本...原创 2018-12-20 10:32:34 · 409 阅读 · 0 评论 -
windows系统下pycharm远程访问linux系统下jupyter notebook,并调用spark平台(五)pycharm调用juypter notebook
一,anaconda安装本例使用的是Anaconda3-5.3.1-Linux-x86_64.sh,放在/opt文件夹下首先,安装anaconda一直点回车,直到有询问,输入yes查询anaconda版本至此anaconda安装完毕二,jupyter notebook安装安装jupyter输入:pip install jupyter安装ipython...原创 2018-12-24 09:08:17 · 2508 阅读 · 4 评论