自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 spark的介绍和pyspark的使用

从这个名字pyspark就可以看出来,它是由python和spark组合使用的.相信你此时已经电脑上已经装载了hadoop,spark,python3.那么我们现在开始对pyspark进行了解一番(当然如果你不想了解直接往下翻找pyspark的使用):1. 背景:    产生与加州大学伯克利分校A...

2018-03-31 23:42:34

阅读数 35322

评论数 0

原创 hadoop启动集群的免密码登陆设置

当我们要启动集群的时候,需要一指输入密码,这样下来是不是很费劲呢,不过跟着我设置了以后就不用发愁了步骤:1.进入到当前使用hadoop的用户主体目录里面,通过ll -a 先查看一下2.输入 ssh localhost 3.此时再ll -a一下会发现里面多了一个隐藏文件.ssh4.进入这个文件夹 c...

2018-03-25 22:25:37

阅读数 3537

评论数 2

原创 hadoop里面的dataname没用启动的解决方法

首先查看存namenode元数据和datanode元数据的路径 current的VERSIONfind / -name current --> 通过查找可以找到,此时存储的路径                 cd进入这俩个文件夹中分别找到VERSION文件,查看俩个的...

2018-03-25 22:09:03

阅读数 820

评论数 0

原创 Hadoop伪分布式搭建

准备工作:     这一点很重要就相当于lol 前期不发育,后期再秀也没用,所以必须要好好的配置    设置静态ip 与主机名    附链接: https://blog.csdn.net/dxyna/article/details/79678277    安装hadoop 并进行环境配置:    ...

2018-03-24 22:58:45

阅读数 169

评论数 0

原创 linux里面的常用命令

下面是一些常用的命令以及解释1. 查看网卡:ifconfig 2. 查看当前路径:pwd 3. 查看当前目录里面的所有文件:ls 4. 以列表的方式查看:ll -alh       a) ll 列表的方式显示文件的信息 形同于 ls -l       b) 后面加-a 显示全部文件包括隐藏的文件 ...

2018-03-24 20:39:28

阅读数 227

评论数 0

原创 centos7修改主机名字

两种方法:第一种:        vi hosthome                  将里面的localhost.localdomain 修改为你的名字        vi hosts                 在里面添加 你的ip地址和主机名                     ...

2018-03-24 16:44:13

阅读数 566

评论数 0

原创 linux 配置静态ip

1.当我们在linux里面输入ifconfig时候会出现下图    这个里面包含了ip地址 网卡等信息    但我们要配置的时静态ip ,就是不随着时间改变而改变的IP地址    我们可以在我们的虚拟机里面的编辑里面的虚拟网络编辑器里面找到网关地址192.168.50.0    另外我们也可以在命...

2018-03-24 16:11:23

阅读数 709

评论数 0

原创 vm虚拟机 centos7配置java与hadoop环境

1.下载java的jdk文件,将其解压到linux里面    我这里是解压到用户hadoop里面的opt文件夹里面    解压的方式为 tar -zxvf jdk-8u152-linux-x64.tar.gz tar -zxvf hadoop-2.7.5.tar.gz  2.你要把它配置到哪里 这...

2018-03-24 15:04:23

阅读数 593

评论数 0

提示
确定要删除当前文章?
取消 删除