大数据第一天学习

最新推荐文章于 2024-04-23 21:35:33 发布
最新推荐文章于 2024-04-23 21:35:33 发布
阅读量212 收藏
点赞数
文章标签： 小白
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43868405/article/details/90759081
版权

大数据学习第一天：

1.安装大数据环境

1.虚拟机、linux的安装

CentOS Linux 6.8正式发布：新版内核+大量更新
以下为更新内容：
• 全新Linux 2.6.32内核
• XFS文件系统内可存储300TB数据
• 大量的应用更新，包括LibreOffice 4.3.7办公套件、 Squid 3.4缓存和转发网络代理
• Git、YUM、Postfix、OpenLDAP、stunnel和vsftpd等应用现已支持TLS 1.2
• dmidecode开源工具（查看硬件信息）现已支持SMBIOS 3.0.0
• SSLv3默认被禁用以保障用户安全
•更好的Hyper-V支持

CentOS所有版本下载地址分享 http://www.linuxidc.com/Linux/2016-08/133846.htm

简述

Linux的安装方法有很多种，下面，我们主要以镜像安装为例，介绍CentOS的安装过程及相关的参数设置，详细步骤如下。

CentOS安装配置

打开VMware，单击【创建新虚拟机】按钮。


在这里插入图片描述
选择自定义 下一步


在这里插入图片描述

在这里插入图片描述
选择【稍后安装操作系统】，单击【下一步】。


在这里插入图片描述

【客户机操作系统】及对应的【版本】，选择“Linux”与“CentOS”，单击【下一步】。


在这里插入图片描述
设置【虚拟机名称】及【位置】，单击【下一步】。

不要有中文

在这里插入图片描述
接下来都默认下一步即可


在这里插入图片描述


在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
单击【自定义硬件】，可以设置内存、处理器、网络适配器等，这里先设置镜像 - 用于引导系统安装，关于网络等设置后面讲解。

在这里插入图片描述

选择【CD/DVD(IDE)】，选择【使用 ISO 镜像文件】，单击【浏览】选择之前下载的镜像文件，单击【确定】。


在这里插入图片描述
单击【完成】，单击开启按钮，耐心等待安装程序引导完毕，即进入Linux安装界面。不想截图了文字吧

选择【Install or upgrade an existing system】菜单，按下Enter键，等待安装程序的引导。

引导完毕会弹出窗口询问是否进行介质的检测，如果不需要，可选择【Skip】跳过。

单击【Next】继续安装。

安装语言，选择【Chinese(Simplified)(中文（简体）)】菜单，单击【Next】继续。

系统键盘，选择【美国英语式】菜单，单击【下一步】继续。

这里指定安装的存储介质，一般选择“基本存储设备”（如本机的硬盘），单击【下一步】继续。

这时，会弹出窗口询问是否格式化已有的存储设备，格式化会清空所有数据，请谨慎选择。


在这里插入图片描述
输入主机名，主机名可以自定义，由数字、字母和下弧线组成，单击【下一步】继续。

时区，在下拉菜单中选择【亚洲/上海】，单击【下一步】继续。

设置根账号（root）的密码，输入完成后，单击【下一步】继续，请牢记输入的密码。

**注意：**如果密码过于简单，则会有另一个提示，选择：无论如何都使用。


在这里插入图片描述
安装类型包括：

  • 使用所有空间：使用这个磁盘的空来来安装系统。
  • 替换现有Linux系统：使用现有的分区进行安装。
  • 缩小现有系统：修改现有分区来腾出空间创建分区。
  • 使用剩余空间：使用空闲的空间。
  • 创建自定义布局：使用自定义分区。


在这里插入图片描述

接下来确定就可以了

2.网络环境

•设置IP:

–VM:编辑>虚拟网络编辑器

–vi /etc/sysconfig/network-scripts/ifcfg-eth0


在这里插入图片描述
•删除UUID和MAC地址

•ONBOOT=yes

•BOOTPROTO=static

•IPADDR=192.168.9.253

•NETMASK=255.255.255.0

•GATEWAY=192.168.9.2

•DNS1=1921.68.9.2

•保存退出：ESC，ZZ

–rm -fr /etc/udev/rules.d/70-persistent-net.rules


在这里插入图片描述


在这里插入图片描述
•VM：

–默认维护，每一台克隆，或，新建的虚拟机，MAC地址不重复

•

•如果虚拟机保留 /etc/udev/rules.d/70-persistent-net.rules这个文件，在通过该虚拟机克隆的时候:

–1，文件被带到新的虚拟机中

–2，vm变更了新的虚拟机的mac地址

–so：新机器不能使用eth0接口

–你配置的/etc/sysconfig/network-scripts/ifcfg-eth0就不能应用

•关闭防火墙&Selinux

–service iptables stop

–chkconfig iptables off

–

–vi /etc/selinux/config

•SELINUX=disabled

•关机

•拍摄快照

•注意：日后，虚拟机一定要用快照克隆

2.理解大数据的概念

大数据的定义：大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

大数据的采集：科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题，只是面对如此众多的数据，我们怎样才能找到其内在规律。

大数据的特点：数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。

大数据的挖掘和处理: 大数据必然无法用人脑来推算、估测，或者用单台的计算机进行处理，必须采用分布式计算架构，依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术，因此，大数据的挖掘和处理必须用到云技术。

大数据的应用:大数据可应用于各行各业，将人们收集到的庞大数据进行分析整理，实现资讯的有效利用。举个本专业的例子，比如在奶牛基因层面寻找与产奶量相关的主效基因，我们可以首先对奶牛全基因组进行扫描，尽管我们获得了所有表型信息和基因信息，但是由于数据量庞大，这就需要采用大数据技术，进行分析比对，挖掘主效基因。例子还有很多。

3.学习linux的简单命令

  1. cd 切换目录
  2. ll （ls） 查看目录下有哪些文件
  3. pwd 查看当前目录的绝对路径
  4. mkdir 创建目录
  5. mv 移动文件或者重命名
  6. cp 复制文件 （如果复制目录文件需要加上-r）
  7. rm 删除文件 （如果删除目录文件需要加上-r，如果强制删除需要加上-f）
  8. vi/vim 编辑文件（文件编辑器） ：命令模式->编辑模式->底行模式

安装vim

yum -y install vim*

  1. clear 清屏
  2. cat 查看文件
  3. tar 压缩文件或解压文件(-zxvf)
  4. tail（如果你想查看文件的后10行，可以使用tail命令，如： tail -10 /etc/passwd 或 tail -n 10 /etc/passwd tail -f /var/log/messages 参数-f使tail不停地去读最新的内容，这样有实时监视的效果 用Ctrl＋c来终止！）：当文件较大时使用，查看文件的后几行
  5. reboot 重启虚拟机
  6. halt 关机
  7. ifconfig 查看本机ip地址
  8. ps -ef 查看进程号 ps -aux

4.学习linux文件系统

1.vi命令

•打开文件

–vim /path/to/somefile

–vim +# :打开文件，并定位于第#行

–vim +：打开文件，定位至最后一行

–vim +/PATTERN : 打开文件，定位至第一次被PATTERN匹配到的行的行首

•关闭文件

–末行模式：

–:q 退出 没有动过文件

–:wq 保存并退出 动过了，不后悔

–:q! 不保存并退出 动过了，后悔了

–:w 保存

–:w! 强行保存

–:wq --> :x

–命令模式下：

–ZZ: 保存并退出 不需要冒号，编辑模式

•全屏编辑器

•模式：

–编辑模式：（命令模式）按键具有编辑文本功能：默认打开进入编辑模式

–输入模式：按键本身意义

–末行模式：接受用户命令输入

•编辑–>输入：

– i: 在当前光标所在字符的前面，转为输入模式；

– a: 在当前光标所在字符的后面，转为输入模式；

–

– o: 在当前光标所在行的下方，新建一行，并转为输入模式；

– O：在当前光标所在行的上方，新建一行，并转为输入模式；

– I：在当前光标所在行的行首，转换为输入模式

– A：在当前光标所在行的行尾，转换为输入模式

– 输入–>编辑：

•ESC

•编辑–>末行：

–：

•末行–>编辑：

–ESC, ESC

编辑模式

•移动光标

•删除&替换单个字符

•删除命令

•复制粘贴

•撤销&重做

•移动光标

–字符

•h: 左；j: 下；k: 上；l: 右

–单词

•w: 移至下一个单词的词首

•e: 跳至当前或下一个单词的词尾

•b: 跳至当前或前一个单词的词首

–行内

•0: 绝对行首

•^: 行首的第一个非空白字符

•$: 绝对行尾

–行间

•G:文章末尾

•3G:第3行

•gg:文章开头

–翻屏

•ctrl：f，b

•删除&替换单个字符

–x:删除光标位置字符

–3x:删除光标开始3个字符

–r:替换光标位置字符

•删除命令 ： d

–dw，dd

•复制粘贴&剪切

–yw，yy

–p

–P

•撤销&重做

–u 撤销

–ctrl+r 重做 撤销的操作

–. 重复上一步的操作

末行模式 shift

•set：设置

–set nu number

–set nonu nonumber

–set readonly

–修改vi的配置文件 /etc/virc

–

–

•/：查找

–/after

–n，N

–？向上查找

•！：执行命令

–:!ls -l /

•set：设置

–set nu number

–set nonu nonumber

–set readonly

–修改vi的配置文件 /etc/virc

–

–

•/：查找

–/after

–n，N

–？向上查找

•！：执行命令

–:!ls -l /

爱学习的乔木
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据学习视频第一天
02-24
在大数据学习的旅程中，第一天通常会涉及到大数据的基础概念、重要性以及大数据处理的基本框架。以下是对这些知识点的详细说明： 大数据，这个术语是21世纪信息技术领域的一个关键概念，它指的是传统数据处理工具...
大数据学习【第一天】Linux命令基础
01-09
对于0基础学习大数据来说，首先你得对linux命令熟悉，下面就是linux的一些基础命令。 linux命令 作用 pwd 查看当前光标所在的路径 cd 切换目录 cd ~ 切换到家目录 cd – 切换到上一层目录 clear 清空...
学习大数据的第一天
qq_43336420的博客
01-08 771
软件 系统软件：dos命令窗口 应用软件：QQ Wechar 人机交互 图形化界面 DOS命令窗口 DOS 打开方式1：导航条中输入cmd DOS打开方式2：win+R中输入cmd 区别：方式1 在什么位置输入cmd,dos就在什么位置 方式二 打开，dos 位置在桌面 dos命令 ipconfig 查看IP地址 盘符：切换盘符 dir 查询当前目录下所有(不包括隐藏)内容 cd 目录 切换单击目录(文件夹） cd 目录\目录 切换多级目录 cls 清屏 exit 退出
大数据第一天
weixin_55959870的博客
07-14 332
大数据学习笔记
大数据学习的第三天
weixin_51885039的博客
04-20 579
学习大数据第三天
大数据实践学习第二天
YueYe6的博客
04-23 949
通过对Hadoop集群和Apache Hive的学习，知道了Apache Hive、MySQL和Hadoop之间的联系，也学会了如何使用Shell命令来对数据进行操作，明确了大数据行业知识的广泛性，在以后的学习中还需要更加努力的学习，提升自己的能力。
大数据学习（第一天）
qq_33560928的博客
10-12 136
大数据的存储方式 大数据存储采用的是分布式存储，之所以用分布式存储，不是因为分布式有多好，而是实在是不用分布式不行啊。大数据，大数据，顾名思义，就是大量数据的集合，远远超出了一台不同服务器中硬盘的承载极限，所以使用分布式完全是被迫的。分布式听起来很高大上，其实特也有很多确定，增加了开发的复杂度，和管理的难度，但是如果不用分布式，连最基本的可用性和稳定性都保证不了，有何谈高效率呢？ 何为分布式 ...
大数据学习第一天
wujixian123456的博客
06-03 332
大数据训练大纲(第01天) 学习目标： 安装大数据环境 虚拟机、linux安装 网络环境 理解大数据的概念 学习linux的简单命令 学习linux文件系统 什么是快照？ 操作虚拟机时候，想保存当前状态为以后操作失误快速那时保存的系统状态，想当于对系统的版本管理，每个节点之间可以互相切换 6.什么是克隆？** ​ 可以选择快照和当前状态，可选择链接克隆和完整克隆...
大数据学习第一天（学习bigdata中的内容）
m0_62671297的博客
12-01 475
大数据学习第一天
大数据学习 第一天
朱智文的专栏
09-27 320
upgrade：升级
大数据趣味学习探讨（三）：怎么确定学习目标
Lansonli（蓝深李）的博客
10-04 4630
战点就是战斗的机会根本轮不到你奋斗有一个真相，年轻人必须明白，而且越早明白越好，那就是拼命不可怕，加班不可怕，辛苦也不可怕，真正可怕的是根本轮不到你去拼命。肩膀脱臼不可怕，绷带上场不可怕，单场跑动16公里也不可怕，真正可怕的是直到哨声响起，你都没有等到一次上场的机会啊。你准备了一辈子，却发现根本没有证明自己的机会，你想去拼尽全力，却发现赛场从头到尾根本不需要你，这个才是要命。日本文学当中有一个词叫战点，什么意思呢？就是战斗的机会。你知道日本人的平均战点是多少岁？
大数据初学者应该怎么学习？
weixin_51689029的博客
12-09 1102
大数据应该怎么学习？都需要学习那些知识点？对于一个零基础入门的人想要学习大数据技术，应该按照怎样的大数据学习路线呢？其实现在有很多小伙伴看中了大数据的发展前景，但是其实不知道大数据开发具体是做什么的，又该怎么学习？学习了之后又该做什么？下面具体给你分析下大数据开发是做什么的，又需要学习和掌握哪些技能~大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。
Java第一天学习资料
03-04
Java第一天学习资料
拓思爱诺大数据第一天-Hadoop集群搭建
06-24
川大IT企业实训-拓思爱诺大数据学习资料，第一天Hadoop集群搭建
信息技术教师技能大赛基础知识与专业技能试卷.doc
08-16
信息技术教师技能大赛基础知识与专业技能试卷.doc
基于ssm的新生报到系统(有报告) Javaee项目，ssm项目
最新发布
08-16
资源详情：https://blog.csdn.net/2302_78191516/article/details/141269772
奥柯玛DC16A电磁炉原理图.rar
08-16
奥柯玛DC16A电磁炉原理图
麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包
08-16
麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包 麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包 麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包 麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包 麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包 麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包 麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包 麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包 麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包 麒麟 V10 SP1 升级 python 3.7.9 所需 rpm 包
大数据入门教程：实战环境与编程案例详解（第2版）
《大数据基础编程、实验和案例教程 第2版》是由林子雨编著的一本实践教材，于2020年由清华大学出版社出版，专为大数据学习者设计，旨在帮助他们快速理解和掌握大数据技术的基础。本书以系统地方式涵盖了大数据领域的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值