- 博客(12)
- 收藏
- 关注
RSS订阅
原创 hdfs的安全模式详解 及 查看#关闭#开启
hdfs的安全模式安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。如果HDFS处于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小的副本数量要求是基于datanode启动时的状态来判定的，启动时不会再做任何复制（从而达到最小副本数量要求），h
2020-10-12 17:19:28
7497
原创 HDFS常用命令
常用命令实操（1）-help：输出这个命令参数例 : bin/hdfs dfs -help rm（2）-ls: 显示目录信息例 : hdfs dfs -ls /（3）-mkdir：在hdfs上创建目录例 : hdfs dfs -mkdir -p /aaa/bbb/cc/dd（4）-moveFromLocal从本地剪切粘贴到hdfs例 : hdfs dfs -moveFromLocal /home/Hadoop/a.txt /aaa/bbb/cc/dd（5）-moveToLoc
2020-10-12 14:35:37
6921
原创 HDFS的优缺点
HDFS的优点1、海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别或更高级别的数据存储。2、高容错性：数据保存多个副本，副本丢失后自动恢复。可构建在廉价的机器上，实现线性扩展。当集群增加新节点之后，namenode也可以感知，进行负载均衡，将数据分发和备份数据均衡到新的节点上。3、商用硬件：Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件（廉价商业硬件）的集群上的。4、大文件存储：HDFS采用数据块的方式存储数据，将数据物理切分成多个小的数据块。所以再大的数据，
2020-10-12 14:46:04
10641
原创 DataNode的作用
1、 负责管理它所在结点上存储的数据的读写，及存储数据。2、 向Namenode结点报告DataNode节点的状态。3、 通过流水线复制实现三份数据副本，
2020-10-12 14:42:00
6882
原创 NameNode的作用
1、维护目录树，维护命名空间。2、负责确定指定的文件块到具体的Datanode结点的映射关系。（在客户端与Datanode之间共享数据）3、管理Datanode结点的状态报告
2020-10-12 14:41:29
6656
原创 大数据技术快的原因
1、分布式存储2、分布式并行计算3、移动程序到数据端4、更前卫、更先进的实现思路5、更细分的业务场景6、更先进的硬件技术+更先进的软件技术
2020-10-12 11:23:04
6541
原创 Mysql语句经典案例
1、第二高的薪水：Create table If Not Exists Employee (Id int, Salary int)Truncate table Employeeinsert into Employee (Id, Salary) values ('1', '100')insert into Employee (Id, Salary) values ('2', '200')insert into Employee (Id, Salary) values ('3', '300')表:
2020-10-12 10:28:32
6735
原创 Linux命令合集
Vim命令合集命令历史以:和/开头的命令都有历史纪录，可以首先键入:或/然后按上下箭头来选择某个历史命令。启动vim在命令行窗口中输入以下命令即可vim 直接启动vimvim filename 打开vim并创建名为filename的文件文件命令打开单个文件vim file同时打开多个文件vim file1 file2 file3 …在vim窗口中打开一个新文件:open file在新窗口中打开文件:split file切换到下一个文件:bn切换到上一个文件:bp查看当
2020-10-11 20:20:00
7005
1
原创 mysql 插入数据中文乱码问题解决办法
方 式 一：set names gbk [注:需要改成什么编码格式];方式二：【不建议！】直接修改数据库安装目录里面的my.ini文件的第57行
2020-10-04 08:07:25
8593
1
原创 数据库表的基本操作和编码格式设置
对数据库表的操作1.创建一张表create table 表名(字段名 类型(长度) [约束],字段名 类型(长度) [约束],字段名 类型(长度) [约束]);2.查看数据库表show tables;**查看表的结构desc 表名**3.删除一张表drop table 表名4.修改表4.1 添加一列alter table 表名 add 字段名 类型(长度) [约束]4.2 修改列的类型(长度、约束)alter table 表名 modify 要修改的字段名 类型(
2020-10-03 21:59:38
10663
1
原创 数据库的基本操作
一、 对数据库的操作1. 创建一个库create database 库名create database 库名 character set 编码创建带有编码的 :查看编码 ：2. 删除一个库drop database 库名3.使用库use 库名4.查看当前正在操作的库...
2020-10-03 21:37:55
8608
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人