大数据老师笔记

第一天

         什么是大数据

                   数据量的大小已经超过了传统数据库所能处理的能力的数据。

         大数据的特点

  1. 数据海量化
  2. 数据的多样化(视频、音频、图片、文本)
  3. 快速化,数据的增长速度快
  4. 高价值

大数据能做哪些事

  1. 能够对海量数据进行存储(超大量的数据、单个大文件)
  2. 基于海量数据的快速查询(精准查询)
  3. 基于海量数据快速计算(相对于传统的计算方式)
  4. 基于海量数据的实时计算(数据正在生成、立刻马上收集,立刻马上计算,立刻马上展示)
  5. 在海量数据基础之上进行挖掘

大数据的岗位

         大数据需要学习的技术

第二天

         学习大数据需要用到的软件的安装部署,具体内容参考实施讲义。

第三天

         Linux配置IP(静态/ 动态)

动态IP的配置

         查看服务器IP  ip addr 

         此时没有IP

         修改系统网卡配置ens33   将NOBOOT从NO改成YES,保存退出,

重启网卡进行查看

        

静态IP的配置

1、首先确定网关IP

2、修改网卡配置  vi  /etc/sysconfig/network-scripts/ifcfg-ens33

将BOOTPROTO="dhcp" 改成  static

3、添加以下内容

IPADDR=192.168.10.130

NETMASK=255.255.255.0

GATEWAY=192.168.10.2

DNS1=8.8.8.8

第四天

/etc: 系统配置,启动程序

/home:普通用户的家,目录默认数据存放目录

/mnt:临时挂载储存设备的挂载点,u盘插入光驱无法使用,需要挂载然后使用**

/opt:额外的应用软件包**

/root:Linux超级权限用户root的家目录

/tmp:临时文件目录,这个目录被当作回收站使用**

常用命令

文件夹的增删改查

添加 : mkdir   文件夹名称

修改: mv  原始文件名    目标文件名

查看: ls     ll

删除: rm  -rf   文件夹名

文件的增删改查

添加 :touch  文件名称(空文本)

         echo   数据   > 文件名称(不能追加)

         echo  数据  >>文件名称(可以追加)

修改: mv 原始文件名称   目标文件名称

查看: cat  

删除:rm   -rf  文件名

进入某一目录:cd   

进入上一级目录:cd ..     cd ../

查看当前光标所在的目录:pwd

第五天

         查看文件(文本文件)

                   查看文件头部:     head  文件名     head  -n  文件名

                   查看文件尾部:  tail    文件名     tail   -n  文件名        

                   分屏查看                   more  文件名

                   过滤:grep  关键字     文件名称

                   查看命令:  ls  

                                                        -a:  显示所有文件(包含隐藏文件)

                                                        -l :显示详细信息

                                                        -h:文件的单位会进行计算,合理化展示。

                   查询某一命令的使用方法:    命令   --help

第六天

         文本编辑器

         命令模式  vi    vim  +文件名

         末行模式  :

         编辑模式  :i  进入日末行模式

         编辑文件

                   保存退出:wq

                   不保存退出(强制退出):q!

                   以单词为单位向后移动光标:  w

                   以单词为单位向前移动光标:  b

                   光标移动到行首:0   或   ^  

                   光标移动到行尾:$  

                   光标移动到文件第一行:gg 

                   光标移动到文件最后一行:G     

                   光标移动到文件特定行:行号gg     行号G

                   可视区域下一页:Ctrl+f

                  可视区域上一页:Ctrl+b

                  

可视区域第一行: H

可视区域中间行: M

可视区域末尾行: L

                   撤销前面的操作:u

                   回复撤销:Ctrl+r

                   复制一行  :yy   nyy(复制n行)

                   粘贴   :   p

                   删除         :  dd   ndd(删除N行)

第七天

         在文件中查找数据        /关键字(末行模式)

         当多个匹配的数据存在   n查找下一个     N  查找上一个

       替换:   :%s/需要被替换的关键字/替换的关键字/g    c(可选)

         进入编辑模式的6中种情况  i    a    o      I      A      O

查找命令:   find  /路径   -name    ‘文件名称’

打包命令                   :tar    cvf    包名称.tar    需要被打包的文件夹  或 文件

解压包命令              :tar    xvf    包名称.tar

打包Gzip压缩包             :tar    zcvf    包名称.tar.gz    需要被打包的文件夹  或 文件

解压Gzip压缩包             :tar    zxvf    包名称.tar.gz

打包bzip2压缩包                     :tar    jcvf    包名称.tar.bz2     需要被打包的文件夹  或 文件

解压bzip2压缩包               :tar    jxvf    包名称.tar.bz2

rpm   -qa   :        查询出系统已经安装的所有的软件包

rpm   -qa  |  grep  bzip2  :查询出系统已经安装的包含“bzip2”关键字的所有软件包

yum  search   bzip2    :在资源库(yum源)中是否能找到bzip2软件包

yum    install   -y   bzip2  :在资源库(yum源)中安装bzip2软件包

history               : 查看历史使用了哪些命令

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值