大数据修炼心得

什么是大数据(大数据的定义)?

一种规模大到在获取，存储，管理，分析方面大大超出了传统数据库(结构化数据库)的能力范围的数据集合，简单说就是数据多到报表，传统数据库无法解决了。

Linux环境搭建

1、安装VMWare
2、安装Centos6.8
3、配置网络环境
vi /etc/sysconfig/network-script/ifcfg-etho
IPADDR=192.168.11.110
NETMASK=255.255.255.0
GATEWAY=192.168.11.2
修改主机名:vi /etc/sysconfig/network
HOSTNAME=hadoop001

Linux的学习

LInux的介绍

linux 操作系统是由内核，库(.so)，应用程序组成

Linux的基本原则

1、一切皆文件
2、配置文件保存为纯文本格式

Shell的介绍

shell为用户的接口，接口分为GUI接口和CLI接口
其中CLI主要有:bsh,sh,bash,ksh,csh,zsh,tcsh

命令

应用程序的执行入口,分为内部命令和外部命令,可以使用type来查看,如果是内部命令我们会看到builtin,其他的都为外部命令,
如果是内部命令可以使用:help 命令 形式查看帮助，如果是外部命令使用:命令 --help查看帮助;命令手册：manual
man 命令

命令格式

命令 [选项] [参数]
选项：
短选项： -
多个选项可以组合：-a -b = -ab
长选项： –
参数：命令的作用对象

简单命令

ls:查看某目录下的所有内容
cd:切换目录
mv:修改文件名称或移动文件到其他目录
date:时间管理，可以打印和设置时间

文件系统

rootfs: 根文件系统：所有文件和目录都在跟目录下。根目录： / ,HDFS也是根文件系统

文件系统详细介绍

/boot:系统启动相关文件，如内核、initrd，以及grub(bootloader)
/dev:设备文件，如鼠标，键盘，屏幕，硬盘，光驱等设备
/etc:配置文件
/home:用户的家目录，每一个用户默认的家目录为/home/username
/root:管理员的家目录
/lib:库文件
静态库, .a
动态库， .dll, .so (shared object),/lib/modules：内核模块文件
/lib64
/media：挂载点目录，移动设备
/mnt：挂载点目录，额外的临时文件系统
/opt：可选目录，第三方程序的安装目录
/proc：伪文件系统，内核映射文件
/sys：伪文件系统，跟硬件设备相关的属性映射文件
/tmp：临时文件, /var/tmp
/var：可变化的文件
/bin: 可执行文件, 用户命令
/sbin：管理命令
/usr:Unix操作系统软件资源所放置的目录,所有系统默认的软件都会放置到/usr, 系统安装完时，这个目录会占用最多的硬盘容量