彩笺传翠墨-CSDN博客

原创 Linux脱坑之路(6)--Linux的输入输出管理

6.Linux的输入输出管理STDIN标准输入，默认设备是键盘STDOUT标准输出，默认设备是显示器终端STDERR错误输出，默认设备是显示器终端其中STDOUT和STDERR可以重定向到文件6.1重定向的用法>将输出重定向到文件，会覆盖文件内容2>将错误的输出重定向到文件&>将正确的输出和错误的输出都重定向到文件>>将输出...

2018-09-09 18:40:59 174

原创 Linux脱坑之路(5)--Linux环境配置与变量管理

5.Linux环境配置与变量管理5.1Linux变量的类型*本地变量：仅在一个shell中有效的变量*环境变量：在所有的子shell中有效的变量，换一个终端就失效了*全局变量：全局变量又称全局环境变量，将变量写入文件中，当我们重新登录用户或者source下环境变量配置文件，变量就有效。Linux系统中全局环境变量的文件名为 /etc/profile*用户变量：用户变量又称用户环...

2018-09-09 18:39:05 150

原创 Linux脱坑之路(4)--Linux权限管理

4.Linux权限管理*Linux权限管理对象分为四类： user(用户),group(组),other(其他),all(全部)*Linux权限控制的三个动作： read(读)，write(写)，x(执行)4.1Linux权限的作用4.1.1权限对文件的作用 r ：读取文件内容（cat、more、head、tail） w：编辑、新增、修改文件内容（vi、ec...

2018-09-09 18:35:58 152

原创 Linux脱坑之路(3)-Linux文件系统

3.Linux文件系统 Linux--一切皆是文件, 文件系统结构--树形结构, linux无论怎么分区所有的文件系统是一棵树,分区可以保证存储的隔离性。swap不属于分区，它属于一种类型，而不是一个挂载点。*查看分区： df -h3.1 Linux通用目录1./home/用户名;/root：存放用户的个人数据，普通用户不能访问另外的用户的家目录的文件。～代...

2018-09-09 18:33:39 189

原创 Linux脱坑之路(2)--Linux的用户与用户组管理

2.Linux的用户与用户组管理普通用户和超级用户的区别是普通用户无法对系统进行修改，普通用户的UID范围是1000-60000,创建一个普通用户会创建一个同名的组，GID和UID相同，删除用户的时候也会同时删除用户组。2.1 用户的登入和登出2.1.1 root用户登录和登出 Linux中的超级用户为root,可以做任何危险操作，root用户的提示符为#，此外root用户的...

2018-09-09 18:28:24 123

原创 Linux脱坑之路(1)--Linux的基本使用

1.Linux的基本使用1.1.虚拟控制台总共六台系统虚拟控制台，其中一个是图形虚拟控制台，另外的5个是字符虚拟控制台。*切换图形虚拟控制台： ctrrl+alt+f1*切换字符虚拟控制台： ctrl+alt+f2-f61.2关机／重启*关机： shutdown -h now//立刻关机 shutdown -h +10 //10分钟后关机 ...

2018-09-09 18:23:19 130

原创 Linux脱坑之路--前言

为什么学习Linux? 笔者曾在2018年2月15日，也就是去年除夕夜，写了一个关于Linux的入门教程。Linux学习不易，想要学好，需要自己花很大的功夫，笔者的文章并不是深入的去讲解Linux内核原理，主要是一些常用的重要的配置，能段时间让读者熟练掌握Linux。笔者从事大数据开发，目前大数据开发OS都是基于Linux偏多，如果没有一定的Linux基础，在搭建环境的时候可...

2018-09-09 18:17:59 196

原创软件安装--CentOS7.4安装mongodb

1.mongodb下载通过在网页上选择对应的版本下载：https://www.mongodb.org/downloads#production 目前mongodb支持的Linux版本如图所示，对于Centos笔者没有尝试红帽的版本(应该可以使用)。本次下载使用版本为legacy版本，下载下来后，对于window导入虚拟机中可使用xftp,对于mac导入虚拟机，笔者使用的是fil...

2018-09-09 15:36:09 210

原创 spark摘星之路(2)--Scala基础(3)

1.Map集合操作这里的Map是一种数据类型，类似于python中的字典，java集合工具中的hashmap等。map是一种key-value的形式，用关键字Map来定义,key值使用->符号来关联value，代码如下：scala> val zhangsan = Map("stu_id"->"2018xxxx","sex"->"man")zhangsan:

2018-09-08 21:57:18 757

原创 spark摘星之路(2)--Scala基础(2)

1.Scala类1.1定义类Scala在定义类时，使用class作为定义类的关键字，对于定义构造函数而言，我们不需要像java那样重新定义构造函数，只需要在定义类的时候，在类名后面直接定义构造函数。scala> class Student(Id:Int,Name:String,Sex:String) { | val Student_Id = Id ...

2018-09-07 22:52:02 248

原创 spark摘星之路(2)--Scala基础(1)

1.Scala数据类型Scala的每个基本类型都是以类的形式通过编译器转换成java的基本类型。Scala的数据类型如下图所示：2.Scala变量类型Scala具有val和var两种类型的变量。对于可变变量使用var声明，对于不可变变量使用val声明。对于类似定义spark中RDD 而言，一般使用val声明。scala> var x = 1000x: Int = ...

2018-09-07 21:41:36 205

原创 spark摘星之路(1)--为什么使用Scala进行spark开发？

为什么使用Scala进行spark开发？众所周知，spark本身使用Scala进行编写，虽然spark支持java和python开发，但是笔者还是建议学习Scala，并使用Scala进行spark开发。我看过很多帖子，大家都说Scala学习成本大，spark支持那么多语言，为什么非要使用Scala进行开发呢？笔者认为： 1.spark的底层使用的是Scala,所以对...

2018-09-07 10:11:11 4438 1