- 博客(8)
- 收藏
- 关注
RSS订阅原创 大数据综合测试
大数据综合考试一 1、Linux是单用户、多任务的操作系统。❌ 2、使用shutdown -k 5 表示5分钟后关闭计算机。❌ 3、Linux内核版本又分为稳定版和开发板，两种版本是相互关联的。⭕ 4、Windows server的服务器市场占有率比Linux的更大。❌ 5、Windows是封闭的，系统的可定制性很差，而Linux是开源的，可定制性强。⭕ 6、没有安装操作系统的计算机，通常被称为裸...
2020-01-06 12:24:18
1975
原创 大数据HDFS的NameNode和SecondaryNameNode区别以及DataNode（面试开发重点）
NameNode和SecondaryNameNode（面试开发重点） 1. NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsIma...
2019-12-24 11:28:28
807
2
原创 大数据HDFS基础操作
第1章 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小（面试重点） 第2章 HDFS的Shell操作（开发重点） #1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 #2．命令大全 注意：在进行操作时一定要注意haddop 下的h...
2019-12-24 10:44:01
746
原创 大数据Hadoop入门
大数据（Big Data）：值无法在一定时间范围内常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决的是 海量数据的存储、海量数据的分析计算、统一资源管理调度。 存储单位(由小到大)：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 大数据特点：1、volume（大...
2019-12-23 11:31:51
522
原创 shell数组
Shell数组 Shell中数字用括号来表示，元素中用“空格”符号分隔开 注意：往数组里添加值，数组的长度自动增长。 例：创建数组 ： arr=（） 读取数组：echo arr[1] 通过下标读取 获取数组中的所有元素 ：echo ${arr[]} 或者 echo ${arr[@]} 获取数组的长度：echo ${#arr[@]} 遍历数组： For i in ${arr[]} Do Echo $...
2019-12-23 10:47:00
465
原创 大数据Linux的操作
1、Linux对文件和目录的相关操作 Linux命令的普遍语法格式 命令格式： 命令 【-选项】【参数】 例子： ls -la /etc 说明： ①、个别命令使用不遵循此格式，【】这种符号表示可以省略 ②、当有多个选项时，可以写在一起 ③、简化选项(一般用一个-)与完整选项（一般用两个–） 比如 ls -a 等于 ls --all 目录相关...
2019-12-23 10:13:25
271
原创 大数据shell脚本
Shell是一个命令行解释器,它接收应用程序/用户命令,然后调用操作系统内核. Shell还是一个功能相当强大的编程语言,易编写,易调用,灵活性强. Shell解析器 （1）Linux提供的Shell解析器有： [jinghnag@hadoop101 ~]$ cat /etc/shells /bin/sh /bin/bash /sbin/nologin /bin/dash /bin/tcsh /b...
2019-12-23 10:09:57
523
原创 Linux相关知识点
第1章 Linux入门 1.1 概述 1.1.1 操作系统(科普) 没有安装操作系统的计算机，通常被称为 裸机 如果想在 裸机 上运行自己所编写的程序，就必须用机器语言书写程序 如果计算机上安装了操作系统，就可以在操作系统上安装支持的高级语言环境，用高级语言开发程序 1.1.2 操作系统的作用 是现代计算机系统中 最基本和最重要 的系统软件 是 配置在计算机硬件上的第一层软件，是对硬件系...
2019-12-14 12:04:10
146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人