- 博客(38)
- 收藏
- 关注
RSS订阅原创 第三讲：k8s核心概念和专业术语
序言：这里只对概念继续基础阐述（这都两万个字了！！），不做具体案例，这位博主写的特别详细，想要对k8s深入的了解可以跳转了，作为小白的我看的有点懵，毕竟没实践过 链接地址→。
2023-07-20 17:55:14
312
原创 第二讲：k8s集群架构与相关组件
嵌入了特定于云平台的控制逻辑。云控制器管理器（Cloud Controller Manager）允许你将你的集群连接到云提供商的 API 之上， 并将与该云平台交互的组件同与你的集群交互的组件分离开来。API 服务器是 Kubernetes 控制平面的组件， 该组件负责公开了 Kubernetes API，负责处理接受请求的工作。系统度量（如基础设施、容器和网络的度量），自动化（如自动扩展、动态 Provision 等）以及策略管理（RBAC、Quota、PSP、NetworkPolicy 等）
2023-07-20 14:25:51
648
原创 第一讲：认识kubernetes(k8s)
Kubernetes 是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes 的目标是让部署容器化的应用简单并且高效（powerful），Kubernetes 提供了应用部署，规划，更新，维护的一种机制。Kubernetes 这个名字源于希腊语，意为“舵手”或“飞行员”。k8s 这个缩写是因为 k 和 s 之间有八个字符的关系。Google 在 2014 年开源了 Kubernetes 项目。
2023-07-20 10:22:44
117
原创 使用docker 部署k8s集群
会被墙，然后各种下载失败，我在网上找了各种方法来安装这个插件，也有直接编辑这个文件的，也有从百度云上下载传到宿主机上的，修改/etc/hosts文件 增加节点 199.232.68.133 raw.githubusercontent.com。找到 “容器镜像服务”–>“镜像加速器” 菜单，阿里云需要注册登录才能看到加速链接，每个注册的账号生成的加速链接不一样，可以用网上公开的，也可以用自己的，我这里用的是自己。系统：CentOS-7-x86_64-DVD-2009。查看kubelet日志发现报错。
2023-07-11 16:07:16
3613
2
原创 MapReduce之reducer任务执行流程详解
第一阶段是 Reducer 任务会主动从 Mapper 任务复制其输出的键值对。Mapper 任务可能会有很多，因此 Reducer 会复制多个 Mapper 的输出。 第二阶段是把复制到 Reducer 本地数据，全部进行合并，即把分散的数据合并成一个大的数据。再对合并后的数据排序。 第三阶段是对排序后的键值对调用 reduce 方法。键相等的键值对调用一次reduce 方法，每次调用会产生零...
2018-04-21 10:35:44
2195
原创 MapReduce之mapper任务执行流程详解
第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认情况下，Split size = Block size。每一个切片由一个MapTask 处理。（getSplits） 第二阶段是对切片中的数据按照一定的规则解析成<key,value>对。默认规则是把每一行文本内容解析成键值对。key 是每一行的起始位置(单位是字节)，value 是本行的文本内...
2018-04-21 10:31:30
1409
原创 MapReduce的输入及输出
MapReduce 框架运转在<key,value> 键值对上，也就是说，框架把作业的输入看成是一组<key,value>键值对，同样也产生一组<key,value>键值对作为作业的输出，这两组键值对可能是不同的。 一个 MapReduce 作业的输入和输出类型如下图所示：可以看出在整个标准的流程中，会有三组<key,value>...
2018-04-21 10:04:53
889
原创 MapReduce的设计思想
MapReduce 是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop 集群上。既然是做计算的框架，那么表现形式就是有个输入（input），MapReduce 操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output）。对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapRe...
2018-04-20 15:51:05
2519
原创 HDFS的重要特性
2.1．master/slave 架构HDFS 采用 master/slave 架构。一般一个 HDFS 集群是有一个 Namenode 和一定数目的 Datanode 组成。Namenode 是 HDFS 集群主节点，Datanode 是 HDFS 集群从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。2.2． 分块存储HDFS 中的文件在物理上是分块存储（block）的，块的大小可以...
2018-04-18 11:46:05
1769
原创 HDFS的设计目标
1) 硬件故障是常态， HDFS 将有成百上千的服务器组成，每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是 HDFS 的核心架构目标。2) HDFS 上的应用与一般的应用不同，它们主要是以流式读取数据。HDFS 被设计成适合批量处理，而不是用户交互式的。相较于数据访问的反应时间，更注重数据访问的高吞吐量。3) 典型的 HDFS 文件大小是 GB 到 TB 的级别。所以，HDFS 被...
2018-04-18 11:24:41
2668
转载 分布式系统
1.1 概述分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅通过消息传递进行通信和协调的系统。简单来说就是一群独立计算机集合共同对外提供服务，但是对于系统的用户来说，就像是一台计算机在提供服务一样。分布式意味着可以采用更多的普通计算机（相对于昂贵的大型机）组成分布式集群对外提供服务。计算机越多，CPU、内存、存储资源等也就越多，能够处理的并发访问量也就越大。初代的 web 服务网...
2018-04-10 20:42:41
197
转载 数据分析的作用及步骤
一、数据分析 数据分析是指用适当的统计方法对收集来的数据进行分析，将他们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析的目的是把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出所研究的对象的内在规律。 数据分析可分为：描述性数据分析、探索性数据分析、验证性数据分析。描述属于初级数据分析，另外两个属于高级数据分析。1.2 数据分析作用 在企...
2018-04-10 20:19:02
7734
原创 hdfs的DDL操作
1.1． 创建表建表语法(顺序非常重要)CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][PARTITIONED BY (col_name data_type [COMMENT col_comment]...
2018-03-12 21:38:23
284
转载 hive1.2.1配置及其启动方式(mysql安装及配置)
注意红色标记部分为可变动1.上传tar包2.解压 tar -zxvf hive-1.2.1.tar.gz3.安装mysql数据库 推荐yum 在线安装mysql yum install mysql mysql-server mysql-devel 完成后，用 /etc/init.d/mysqld start 启动mysql启动mysql控制台： mysql...
2018-03-11 13:45:32
1327
转载 HDFS读数据的流程
1、 Client 向 NameNode 发起 RPC 请求，来确定请求文件 block 所在的位置；2、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址；3、 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距...
2018-03-10 21:19:46
618
原创 HDFS写数据详细流程
1、 client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；2、 client 请求第一个 block 该传输到哪些 DataNode 服务器上；3、 NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的 DataNode 的地址如：A，B，C；注：Hadoop 在设计...
2018-03-08 15:59:58
2998
原创 HDFS基本原理-DataNode概述
a. DataNode 负责将实际数据存储在 HDFS 中。b、 DataNode 也称为 Slave。c、 NameNode 和 DataNode 会保持不断通信。d、 DataNode 启动时，它将自己发布到 NameNode 并汇报自己负责持有的块列表。e、 当某个 DataNode 关闭时，它不会影响数据或群集的可用性。NameNode 将安排由其他 DataNode 管理的块进行副本复制...
2018-03-08 15:49:20
464
原创 HDFS基本原理--namenode概述
1.Namenode是HDFS的核心2..Namenode也称为master3.Namenode仅存储HDFS的元数据:文件系统中所有文件的目录树,并跟踪整个集群中的文件.4.Namenode不存储世纪数据或数据集.数据本身世纪存储在DataNode中.5.Namenode知道HDFS中任何给定文件的块列表及其位置.使用此信息Namenode知道如何从块中构建文件..6.Namenode并不持久化...
2018-03-08 15:47:23
765
原创 Hadoop集群搭建(包括环境搭建及配置)
注意路径和主机名,一定要仔细1.准备Linux环境 1.0 配置好各虚拟机的网络（采用NAT联网模式） 第一种：通过Linux图形界面进行修改(桌面版本Centos) 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -...
2018-03-06 21:10:22
270
转载 Hadoop集群简易图解
hadoop集群也是主从集群其中对于hdfs集群 namenode主 datanode从 SecondaryNameNode（注意不是主的备份 是主的“秘书”）yarn集群 resourcemanager主 nodemanager从所谓的集群角色规划 指定的根据集群的硬件环境和分布式软件当中各个角色的特性来合理分配角色所在的机器注意：同吃内存的角色尽量不要在一台机器上对于hadoop来说...
2018-03-06 20:03:44
906
转载 数据分析基本步骤(瞎写的~~)
3.1． 明确分析目的和思路 明确分析目的和思路 明确数据分析目的以及定思路，是保过程有效进行先决 明确数据分析目的以及定思路，是保过程有效进行先决 条件，它可以 为数据的收集、处理及分析提供清晰指引方向。目的是整个 分析流程 的起点。目不明确 的起点。目不明确 则会导致方向性的错误会导致方向性的错误 。即思考 即思考 :为什么要开展数据分析 ，通过这次要解决什么问题？ 当目的明确 后， 就要校...
2018-03-05 17:19:40
1950
转载 数据分析的作用
在商业领域 中，数据分析的 目的是 把隐藏 在数据背后的信息集中和提炼出来， 总结出所研究对象的内在规律，帮助管理者 总结出所研究对象的内在规律，帮助管理者 进行有效的判断和决策 。数据分析在 。数据分析在 企业日常经营分析中主要有三大作用 ： 2.1． 现状分析 现状分析 简单来说就是 告诉你 当前的状况 。具体现在 : 第一， 告诉 你企业现阶段的整体运营情况，通过各个指标完成来衡量 你企业现...
2018-03-05 17:04:36
2182
转载 数据分析定义
数据分析离不开， 计量和记录一起促成了数据的诞生 。伴随着数据记录 。伴随着数据记录 的发展 （尤其是技术） （尤其是技术） （尤其是技术） ， 人类受益也越来多， 人类受益也越来多， 人类受益也越来多， 人类受益也越来多计算机 出现带来的 出现带来的 数字测量， 数字测量， 更 加大 的提高了数据化的效率。 提高了数据化的效率。 提高了数据化的效率。 人们的 重点也逐渐移向了记录 重点也逐渐移向...
2018-03-05 17:01:46
633
翻译 彻底关闭linux防火墙
关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off...
2018-03-05 16:55:23
5114
转载 crontab定时任务
crontab缺点：不能设置多任务之间的依赖关系 azkaban基本格式 : * * * * * command 分 时 日 月 周 命令 第1列表示分钟1～59 每分钟用*或者 */1表示 第2列表示小时0～23（0表示0点） 第3列表示日期1～31 第4列表示月份1～12 第5列标识号星期0～6（0表示星期天） 第6列要运行的命令 crontab文件的一些例子： 30 2...
2018-03-04 21:06:37
228
原创 linux的ssh免密登录
******配置主机之间的免密ssh登陆假如 A 要登陆 B在A上操作：%%首先生成密钥对ssh-keygen (提示时，直接回车即可)%%再将A自己的公钥拷贝并追加到B的授权列表文件authorized_keys中ssh-copy-id B...
2018-03-04 20:59:57
110
翻译 linux修改主机名及ip
*****查看主机名hostname****修改主机名(重启后无效)hostname hadoop*****修改主机名(重启后永久生效)vi /ect/sysconfig/network****修改IP(重启后无效)ifconfig eth0 192.168.12.22****修改IP(重启后永久生效)vi /etc/sysconfig/network-scripts/ifcfg-eth0moun...
2018-03-04 20:56:16
308
原创 zookeeper的集群搭建
安装前需要安装好jdk##检测集群时间是否同步检测防火墙是否关闭检测主机 ip映射有没有配置##下载安装包、解压tar -zxvf zookeeper-3.4.5.tar.gzmv zookeeper-3.4.5 zookeeper##修改环境变量（注意：3台zookeeper都需要修改）vi /etc/profileexport ZOOKEEPER_HOME=/home/hadoop/zooke...
2018-03-04 20:51:50
126
原创 centos的jdk安装
----------------------安装前先卸载openjdkrpm -qa|grep javarpm -e --nodeps xxxxxxxxxxxxxxxxxxx(软件名称)rpm -e --nodeps `rpm -qa|grep java`解压 tar -zxvf jdk1.8 -C 路径vim /etc/profile#在文件最后添加export JAVA_HOME=/...
2018-03-04 20:50:00
98
原创 linux的启动级别
Linux系统有7个运行级别(runlevel)运行级别0：系统停机状态，系统默认运行级别不能设为0，否则不能正常启动运行级别1：单用户工作状态，root权限，用于系统维护，禁止远程登陆运行级别2：多用户状态(没有NFS)运行级别3：完全的多用户状态(有NFS)，登陆后进入控制台命令行模式运行级别4：系统未使用，保留运行级别5：X11控制台，登陆后进入图形GUI模式运行级别6：系统正常关闭并重启，...
2018-03-04 20:46:44
1867
原创 linux 设置时间及同步
说明：由于大数据中，集群对时间要求很高，所以集群内主机要经常同步时间（包括时区的同步）。常用的手动进行时间的同步 date -s "2017-03-03 03:03:03"或者网络同步： yum install ntpdate ntpdate cn.pool.ntp.org 还可以进行如下的设置：1、yum install ntp2、vi /etc/ntp.conf 修改如下部分： server ...
2018-03-04 20:46:05
164
原创 centos6.7安装lrzsz
解压： tar -zxvf lrzsz-0.12.20.tar.gz编译、安装 cd lrzsz-0.12.20 ./configure --prefix=/usr/local/lrzsz make make install建立软连接，配置系统命令cd /usr/bin ln -s /usr/local/lrzsz/bin/lrz rz ln -s /usr/local/lrzsz/bin/lsz...
2018-03-04 20:44:36
1057
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人