- 博客(11)
- 资源 (4)
- 收藏
- 关注
原创 VirtualBox虚拟机+ubuntu16.04 桥接模式、配置 静态ip,实现宿主主机、ubuntu互相ping通
1 、选择桥接模式如图,就是桥接模式 选上复制物理连接状态2、 查看宿主主机的网关、DNS3、更改ubuntu配置文件ubuntu的网卡配置信息在 /etc/network/interfacesyangym@yangym-VirtualBox:~$ sudo vi /etc/network/interfaces打开后添加如下代码auto enp0s3 ...
2019-07-07 10:21:03
3552
原创 在docker上部署centos+hadoop3.0分布式集群
完整步骤的思维导图一、主机规划3台主机:1个master、2个slaver/workerip地址使用docker默认的分配地址:master:主机名: hadoop2、ip地址: 172.17.0.2slaver1:主机名: hadoop3、ip地址: 172.17.0.3主机名: hadoop4、ip地址: 172.17.0.4
2018-01-09 16:28:45
8725
3
原创 docker上安装centos镜像
1、查找镜像源$ docker search centosNAME DESCRIPTION STARS OFFICIALcentos The official build of CentOS. 3857 [OK]2、下载镜像docker pull centos3、查看已下载的镜像$ docker image lsREPOSITORY TAG IMAG
2018-01-08 10:33:31
11373
2
原创 centos7安装遇到的问题
一、centos7 默认安装好后没有获取ip地址,需要手动配置。方法如下:1.输入“ip addr”并按回车键确定,发现无法获取IP(CentOS 7默认没有ifconfig命令),记录下网卡名称(本例中为ens33)。2.输入“cd /etc/sysconfig/network-scripts/”按回车键确定,继续输入“ls”按回车键查看文件。3.输入“vi ifcfg-ens33”
2017-09-07 11:52:12
450
转载 hadoop-2.6.0集群环境搭建
一、主机规划 1、准备4台Ubuntu 14.04 64-bit 虚拟机,一台充当resourcemanager和namenode,另外三台充当nodemanager和datanode。由于需要实现主机间ssh无密码访问,主机IP采用静态配置。配置如下:namenode ip:192.168.1.110datanode1 ip:192.168.1.111
2017-07-12 17:36:16
312
原创 在ubuntu上安装jdk1.8
1、从oracle网站下载jdk1.8的压缩包,如jdk-8u131-linux-x64.tar.gz2、使用ftp、pscp工具、共享目录等将下载好的jdk上传到ubuntu主机;3、对文件进行解压缩 a、将文件解压到/usr/lib/jdk目录;(我是为了方便能应用到所有用户) b、解压命令:sudo tar -xvf jdk-8u131-linux-x64
2017-07-11 15:55:32
326
转载 ubuntu安装完成后设置root用户密码
安装完Ubuntu后在终端使用命令:su -然后输入密码,总是不正确。原来是自己没有设置ROOT密码。设置ROOT密码方法如下:开启终端,输入以下命令:sudo passwd root然后输入密码按"确认"键就OK了。Ubuntu 中的 root 帐号默认是被禁用了的。在这种情况之下,如果你想要使用 root 的权限来干些事情,就需要 sudo 指令。对
2017-07-11 15:40:44
1001
转载 ubuntu上pushd命令执行错误(/bin/sh: 1: pushd: not found)解决办法
ubuntu上pushd命令执行错误(/bin/sh: 1: pushd: not found)解决办法查看原因:进入/bin目录,查看sh的链接文件,显示如下:表示sh命令链接到的是dash,而pushd命令需要在bash的环境中执行。解决方法:执行sudo dpkg-reconfigure dash 命令,将dash设置为No。再次查看:查看sh的链接已经修改为ba
2017-07-07 11:13:00
6636
2
转载 spark中application、driver、job、stage的理解
Spark学习笔记1:Application,Driver,Job,Task,Stage理解 看了spark的原始论文和相关资料,对spark中的一些经常用到的术语做了一些梳理,记录下。1,Applicationapplication(应用)其实就是用spark-submit提交的程序。比方说spark example
2017-07-03 16:27:17
1208
转载 Spark编程指南
spark-1.6.0 [原文地址]Spark编程指南概述总体上来说,每个Spark应用都包含一个驱动器(driver)程序,驱动器运行用户的main函数,并在集群上执行各种并行操作。Spark最重要的一个抽象概念就是弹性分布式数据集(resilient distributed dataset – RDD),RDD是一个可分区的元素集合,其包含的元素可以分布在集群各个节点上,并且可以执行一些分布
2017-06-29 16:45:40
413
转载 spark开发环境搭建
前言 无论Windows 或Linux 操作系统,构建Spark 开发环境的思路一致,基于Eclipse 或Idea,通过Java、Scala 或Python 语言进行开发。安装之前需要提前准备好JDK、scala 或python 环境,然后在Eclipse 中下载安装Scala 或Python 插件(Spark支持Java、Python等语言)。基本步骤如下: 第一步:安装JDK 第二
2017-06-28 15:07:33
509
spark内部原理介绍
2018-01-25
SPSS 17.0 决策树中文版使用指南
2017-09-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人