- 博客(59)
- 收藏
- 关注
RSS订阅原创 MapReduce简单入门知识
MapReduce思想 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。 Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有...
2019-03-01 21:37:59
206
转载 【实验】Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)
Hadoop-2.7.2+Zookeeper-3.4.6完全分布式环境搭建一.版本组件名版本说明JREjava version "1.7.0_67"Java™ SE Runtime Environment (build 1.7.0_67-b01)Java HotSpot™ 64-Bit Server VM (build 24.65-b04, mixed mode)...
2019-03-01 20:24:06
370
转载 MapReduce工作原理图文详解
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架...
2019-03-01 19:07:31
907
转载 YARN的Memory和CPU调优配置详解
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每两个...
2019-03-01 18:51:40
196
原创 hdfs的读写过程
hdfs的文件写入过程详细步骤解析：1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；Client调用FileSystem.create(filePath)方法，去与NN进行【RPC】通信，check该路径的文件是否存在以及有没有权限创建该文件。 假如OK，就创建一个新文件，但是不关联任何的bl...
2019-02-23 17:38:08
151
原创 HDFS的元数据信息FSimage以及edits和secondaryNN的作用
在hadoop当中，使用如下架构的时候也就是namenode就一个的时候，所有的元数据信息都保存在了FsImage与Eidts文件当中，这两个文件就记录了所有的数据的元数据信息，元数据信息的保存目录配置在了hdfs-site.xml当中:<property> <name>dfs.namenode.name.dir</name>...
2019-02-23 17:18:10
626
1
原创 hdfs的架构，文件副本机制及block块存储
hdfs的基础架构1、 NameNode是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间（namespace）以及客户端对文件的访问2、 文件操作，namenode是负责文件元数据的操作，datanode负责处理文件内容的读写请求，跟文件内容相关的数据流不经过Namenode，只询问它跟哪个dataNode联系，否则NameNode会成为系统的瓶颈3、 副本存...
2019-02-23 16:52:52
858
原创 hadoop单节点的hdfs部署二 及 yarn部署
vi core-site.html在core-site.html文件中进行如下配置：&lt;name&gt;fs.defaultFS&lt;/name&gt;集群中NameNode结点的URI(包括协议、主机名称、端口号)vi slaves在slaves文件中写入所有datanode的域名vi hdfs-site.xml配置snn的端口在hdfs-site.xml中加入如下配置。...
2019-02-23 16:17:44
420
原创 jps命令的真相
1、jps命令的位置在哪2、对应的进程的标识文件在哪/tmp/hsperfdata_进程用户名称3、root用户能看所有用户的jps结果，普通用户只能看自己的4、–process information unavailablejps遇到这种情况时，有可能是真，也可能是假。此时用ps -ef查看进程若 ps -ef | grep 进程名结果有进程那么进程是ok的。在生产环境中，...
2019-02-22 23:59:24
431
原创 关于ssh的基本知识
SSH(安全外壳协议)SSH为Secure Shell的缩写,是一种网络安全协议，专为远程登录会话和其他网络服务提供安全性的协议。生产中，我们经常使用ssh来登录、免密码登录远程linux机器。SSH免密登陆流程在linux主机node1上，安装ssh的客户端，在linux主机node2上，安装ssh的服务端。那么下图可以理解为配置node1到node2的免密码登录的流程。通俗说就是，在no...
2019-02-18 15:22:17
539
原创 手动配置多台机器SSH相互通信信任
1.5台机器执行 ssh-keygen[root@sht-sgmhadoopnn-01 ~]# ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa):Created directory ‘/root/.ssh’.Enter passp...
2019-02-17 17:10:10
194
原创 hadoop单节点的hdfs部署
第一步：创建hadoop用户并上传hadoop的tar包第二步：部署jdk1、 jdk的部署路径：/usr/java2、上传完之后解压：[root@hadoop-01 java]# tar -xzvf jdk-8u45-linux-x64.gz[root@hadoop-01 java]# lltotal 319156drwxr-xr-x 8 uucp 143 4096 A...
2019-02-17 17:08:35
671
原创 mysql中group by 分组函数详解 及 查询总结
官方定义：分组： 按照某一列或者某几列。把相同的数据，进行合并输出。完整写法：select … from … group by 列名，列名注意：1、聚合函数：分组之后进行计算；2、通常 select后面的内容是被分组的列，以及聚合函数；分组有一个特点：一旦使用了分组函数，那么最终在显示的时候，只能显示被分组的列或者聚合函数。group by 与 having 的用法在sql...
2019-02-15 00:14:57
1039
原创 mysql语法基础一
登录mysqlmysql [-h 连接的主机ip -P端口3306] -u 用户名 -p 密码前提是连接的主机开启远程访问。如果是本机，可以省略 -h ， -P数据库的操作创建数据库test1；create database test1;删除数据库drop database test1;创建用户user1; grant all privileges on test1.* to...
2019-02-13 17:25:07
163
原创 使用tar在linux中定制化得安装mysql
在linux中利用tar包，将mysql进行定制化的部署第一步：将tar包上传到/usr/local目录下。第二步：检查mysql是否安装，ps -ef | grep mysqld。第三步：解压tar包，并重命名。第四步： 创建用户组和用户 mysqladmin[root@hadoop-01 local]# groupadd -g 101 dba[root@hadoop local]...
2019-02-12 22:10:16
162
原创 crontab的简单知识及用法
crontab调度命令crontab是Unix和Linux用于设置定时任务的指令。通过crontab命令，可以在固定间隔时间,执行指定的系统指令或shell脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。crontab [-u user] file crontab [-u user] [ -e | -l | -r ] 参数说明：-u user：用来设定某个用户的c...
2019-01-27 18:51:08
297
原创 关于文件权限基本知识
drwxr-xr-x. 3 root root 4096 Jan 19 20:42 1drwxr-xr-x. 2 root root 4096 Jan 19 20:44 4drwxr-xr-x. 2 root root 4096 Jan 19 20:44 5drwxr-xr-x. 2 root root 4096 Jan 19 20:44 6-rw-r–r--. 1 root ro...
2019-01-27 17:46:04
482
原创 Linux命令补充
Linux 命令补充vi命令：vi进入编辑模式esc退出编辑模式进入命令行模式esc+：进入尾行模式命令行模式常用的快捷键：dd删除当前行dG删除光标以下的所有行ndd删除光标以下的n行gg跳转到第一行的第一个字母G跳转到当前行的最后一个字母$ 行尾当想要清空一个文件时：1、gg dG2、echo ‘’ > xxx.log 伪清空 清空完文件大小为1kb （she...
2019-01-27 16:26:10
188
原创 linux基础命令
linux命令一、目录操作命令1、目录切换 cd ：cd / 切换到根目录cd ~ 切换到家目录 或者 cdcd - 切上一次的目录cd …/切上一层目录 或者 cd …~ 家目录root 超级管理员 家目录在 /rootxxx 普通用户 家目录在 /home/xxxpwd :查看当前光标所在的路径2、目录查看：ls 查看当前目录下的所有目录和文件ls -l =...
2019-01-26 14:07:51
267
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人