Linux
文章平均质量分 80
zhouzhihubeyond
大数据技术爱好者,主要关注Spark、Hadoop、Storm、Hive、HBase等开源大数据技术,专注于大数据机器学习算法研究
展开
-
Spark修炼之道(基础篇)——Linux大数据开发基础:第四节:Linux文件系统(二)
本节主要内容访问控制列表ACL链接压缩和归档文件其他日常管理实用程序1. 访问控制列表ACL在实际使用使用过程中,可能linux系统自身权限控制不能满足要求,还需要进一步细化,此时可以用ACL( Access Control List )进行,它主要提供 owner,group,others 的 read,write,execute 权限之外的细部权限配置。它可以针对单一使用者,单一文件或原创 2015-08-23 22:48:11 · 5233 阅读 · 0 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第十五节:基础正则表达式(一)
参考书目:鸟哥的LINUX私房菜基础学习篇(第三版) Linux Shell Scripting Cookbook本节主要内容基础正则表达式1. 基础正则表达式(1)^行开始符^匹配一行的开始,例如’^Spark’ 匹配所有Spark开始的行//grep -n表示查找到的结果显示行号root@sparkslave02:~/ShellLearning# grep原创 2015-10-07 22:29:08 · 5614 阅读 · 0 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第十四节:Shell编程入门(六)
本文主要内容case控制结构read命令管道1. case控制结构参考:http://blog.csdn.net/dreamtdp/article/details/8048720 case控制结构语法格式:case expression in pattern1 ) statements ;; pattern2 ) statement原创 2015-10-06 16:13:18 · 3269 阅读 · 0 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第十三节:Shell编程入门(五)
本节主要内容while循环控制结构if条件判断until循环控制结构1. while循环控制结构本节例子来源:http://blog.chinaunix.net/uid-25880122-id-2901409.html 语法格式:while expressiondocommandcommanddone(1)计数器格式适用于循环次数已知或固定时root@sparkslave02:~/原创 2015-10-05 21:14:54 · 4956 阅读 · 2 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第十一节:Shell编程入门(三)
本节主要内容shell数组shell命令别名时间操作1. Shell数组同C、C++等语言一样,shell脚本也提供了数组这样一个重要的数据结构,shell中的数组有两种,一种为普通数组,另外的一种称为关联数组。普通数据的存取通过整数进行,关联数组的存取通过字符串进行。具体如下://用()定义一个数组,注意数组元素间不能用,否则达不到预期目的root@sparkmaster:~/Shell原创 2015-10-05 15:34:22 · 4168 阅读 · 0 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第九节:Shell编程入门(一)
本节主要内容shell编程简介变量定义常用特殊变量1. shell编程简介学习linux操作系统最让人着迷的事情莫过于shell脚本编程,这是因为如果要完成某些复杂的功能,单纯地通过GUI操作不可能达到,shell脚本可以直接与操作系统内核打交道,从而完成任意复杂的任务。shell有很多种,最常用的是Bash (Bourne Again Shell),它是Linux操作系统默认的shell环原创 2015-09-30 22:42:19 · 11052 阅读 · 5 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第十节:Shell编程入门(二)
本节主要内容 1. shell命令行中的基本运算 2. 文件描述符与文件重定向原创 2015-10-04 21:47:42 · 4162 阅读 · 3 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第十二节:Shell编程入门(四)
本节主要内容shell脚本调试shell函数shell控制结构初步1. shell脚本调试当脚本出错时,需要对脚本进行调试,学会脚本调试是每个linux系统使用者必备技能。shell脚本调试无需任何额外的工具,只需要要在脚本文件前加-x选项即可,创建debug.sh文件,内容如下:#!/bin/bash#Filename: debug.shecho "scripting"echo "d原创 2015-10-05 17:44:49 · 3904 阅读 · 1 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第三节:用户和组
本节主要内容理解用户和组的概念用户管理组管理权限分配1. 理解用户和组的概念在第一讲中我们提到,linux是一种多任务、多用户的操作系统,在讲ls -l命令行我们看到如下文件详细信息:root@ubuntu:/home/xtwy# ls -ltotal 48drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktopdrwxr-xr-x 2原创 2015-08-23 14:47:19 · 5889 阅读 · 0 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第二节:Linux文件系统、目录(一)
本节主要内容如何获取帮助文档Linux文件系统简介目录操作访问权限1. 如何获取帮助文档在实际工作过程当中,经常会忘记命令的使用方式,例如ls命令后面可以跟哪些参数,此时可以使用man命令来查看其使用方式,例如//man命令获取命令帮助手册xtwy@ubuntu:~$ man ls可以使用键盘上的 来显示下一行或上一行命令,也可以使用 进行上一页或下一页(屏)原创 2015-08-23 09:03:22 · 7834 阅读 · 2 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第一节、Linux介绍、安装及使用初步
本节主要内容Linux简史Linux特点Ubuntu Linux安装Linux使用初步1. Linux简史要讲述大名鼎鼎的Linux,必然要先从UNIX系统谈起,下面这幅图给出了Unix系统的进化图: 图片来源:http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92HCOoUBfFfj8Bu原创 2015-08-21 18:15:14 · 10245 阅读 · 9 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第八节:网络管理
## 本节主要内容 ## 1. ifconfig命令 2. 网络配置 3. 其它常用网络管理命令##1. ifconfig命令##ifconfig命令主要用于配置网络接口,如果不加任何参数,则ifconfig命令用于查看当前所有活动网络接口的状态信息,例如:![这里写图片描述](http://img.blog.csdn.net/20150902203702705)图中的eth0表示活动的以太网接口,原创 2015-09-02 21:59:09 · 7772 阅读 · 3 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第七节:进程管理
## 本节主要内容 ## 1. 进程管理简介 2. 进程管理常用命令 3. 计划任务 ## 1. 进程管理简介 ##### (1)进程概念进程是操作系统中非常重要的一个概念,进程是程序的执行过程,相对于程序,进程是动态的,在linux系统中,它与用户权限相关,程序与进程并没有一一对应,一个程序可能对应多个进程,例如:原创 2015-09-02 09:25:54 · 7460 阅读 · 3 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第六节:vi、vim编辑器(二)
本节主要内容缓冲区的使用文件的存盘与读盘文本查找文本替换1. 缓冲区的使用在利用vim进行文本编辑时,编辑修改后的文本不会立即保存到硬盘上,而是保存在缓冲区中,如果没有把缓冲区里的文件存盘,原始文件不会被更改。vim在打开文件时将文本内容读到缓冲区中,在进行文本编辑时,修改的文本保存在缓冲区,此时硬盘上的原文件不变。下面让我们来演示一下缓冲区的使用。 假设采用vim 同时打开两个文本文件原创 2015-08-25 21:23:15 · 6355 阅读 · 1 评论 -
Spark修炼之道(基础篇)——Linux大数据开发基础:第五节:vi、vim编辑器(一)
本节主要内容vim编辑器的三种模式移动光标输入模式修改文本作者:周志湖 微信号:zhouzhihubeyond 网名:摇摆少年梦1. vi编辑器的三种模式学会使用vi编辑器是学习linux系统的必备技术之一,因为一般的linux服务器是没有GUI界面的,linux运维及开发人员基本上都是通过命令行的方式进行文本编辑或程序编写的。vi编辑器是linux内置的文本编辑器,几乎所有的类uni原创 2015-08-25 15:48:14 · 5172 阅读 · 0 评论 -
Spark修炼之道(进阶篇)——Spark入门到精通:第一节 Spark 1.5.0集群搭建
作者:周志湖 网名:摇摆少年梦 微信号:zhouzhihubeyond本节主要内容操作系统环境准备Hadoop 2.4.1集群搭建Spark 1.5.0 集群部署注:在利用CentOS 6.5操作系统安装spark 1.5集群过程中,本人发现Hadoop 2.4.1集群可以顺利搭建,但在Spark 1.5.0集群启动时出现了问题(可能原因是64位操作系统原因,源码需要重新编译,但本人没经原创 2015-12-28 21:36:41 · 36007 阅读 · 26 评论