自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

u010502101的博客

成长中的菜鸟程序员

原创 3.3控制器之DaemonSet

文章目录1、在集群中所有node节点上创建一个pod副本2、在集群中指定的node上创建一个pod副本 DaemonSet可以确保每个node节点或者指定的节点上运行一个Pod副本。当集群中增加node节点时,就会为node节点创建一个副本pod,当节点从集群中移除时,Pod也会被回收。删除Dae...

2020-07-04 16:56:11 19 0

原创 3.2 控制器之Deployment

文章目录1、Deployment的创建2、deployment管理应用升级3、deployment管理应用回滚4、滚动失败,deployment自动回滚 Deployment是一种高阶控制器资源,在部署时,Deployment创建并管理ReplicaSet,由ReplicaSet创建管理pod。目...

2020-07-03 00:18:24 20 0

原创 3.1 控制器之ReplicaSet/ReplicationController

文章目录ReplicaSet使用1、创建ReplicaSet2、删除一个pod3、修改pod标签4、标签选择器4、修改ReplicaSet标签选择器5、水平缩放pod6、删除ReplicaSet控制器 在新版本k8s中,ReplicaSet取代了ReplicationController,Repl...

2020-06-27 18:32:24 29 0

原创 pod状态CrashLoopBackOff

文章目录1、问题2、原因3、解决办法 1、问题 pod启动或者通过ReplicaSet等控制器启动pod后,pod的状态一瞬间呈现Completed状态,随后一直显示CrashLoopBackOff状态,导致pod一直重启失败,如下所示 [root@k8s-master01 sc_work]# k...

2020-06-23 23:41:09 61 0

原创 2、pod详解

文章目录一、pod基本介绍1、pod的名称空间2、pod的网络空间3、pod优点二、pod基本操作1、创建pod2、查询pod3、pod标签4、标签选择器5、对pod添加注解三、pod生命周期 一、pod基本介绍 pod是一组容器,一组容器可以是多个容器也可以是单个容器(不包括系统内置的容器),当...

2020-06-21 21:26:24 47 0

原创 1、k8s安装与配置

文章目录一、初始化安装系统1、设置主机名以及配置映射2、安装依赖包3、设置防火墙规则4、关闭虚拟内存5、关闭SELINUX6、调整内核参数7、关闭系统不需要的服务8、设置rsyslogd和systemd journald日志,只启动systemd journald10、升级内核,并设置从新内核启动...

2020-06-10 01:10:55 108 0

原创 10、Hadoop切片机制

一个超大文件在HDFS上存储时,是以多个Block存储在不同的节点上,比如一个1G的文件,HDFS默认一个Block为128M,那么1G的文件分成8个Block存储在集群中8个节点上。 Hadoop在map阶段处理上述1G的大文件时分成几个MapTask进行处理呢? ...

2020-03-31 22:19:56 196 0

原创 9、Hadoop序列化(自定义传输对象)

文章目录1、建立输入数据对应的bean2、建立Mapper分割处理数据3、建立Reducer合并数据4、建立job的启动类5、测试 序列化就是把内存中的对象转化成字节序列,便于网络间传输和持久化到硬盘上,避免数据掉电丢失。 在Haoop中定义的最常用的基本对象,都已经实现了org.apache...

2019-12-12 00:07:54 111 0

原创 8、MapReduce实现WordCount单词统计

文章目录一、Mapper阶段二、Reduce阶段三、Driver阶段四、集群测试 MapReduce分布式计算包含两个阶段:Mapper和Reduce。一个完整的MapReduce程序在分布式计算时包括三类实例进程: MrAppMaster:负责整个程序的过程调度及状态协调; MapTa...

2019-12-01 23:26:40 102 0

原创 7、HDFS输入输出流

文章目录1、HDFS IO文件写入2、HDFS IO文件读取3、HDFS IO定位读取 HDFS的输入输出流用于对HDFS文件进行字节的读取或写入。 1、HDFS IO文件写入 把windows本地文件通过HDFS的输出流写到HDFS文件中。 @Test public void testHDFSI...

2019-10-20 22:27:57 192 0

原创 6、eclipse + HDFS参数优先级

文章目录1、采用集群中配置2、采用classpath下的文件中配置的3、采用代码中的配置总结 配置集群时,关于HDFS的配置都在/etc进行了相关配置,用eclipse客户端进行开发时,可以用更高优先级的配置覆盖掉集群中的配置。下面以设置副本为例。 在hadoop集群中hdfs-site.xm...

2019-10-19 11:25:19 46 0

原创 5、eclipse + HDFS的文件操作

文章目录1、文件上传2、文件下载3、删除文件或文件夹4、文件重命名5、文件详情查看6、文件或文件夹判断 eclipse + hadoop的开发环境搭建,请参考上一章节。 1、文件上传 把windows本地的文件上传到HDFS中,示例: @Test public void testCopyFromL...

2019-10-17 22:25:23 53 0

原创 4、eclipse + vmware + hadoop环境搭建

文章目录一、配置hadoop环境二、配置eclipse远程连接hadoop环境三、HDFS demo示例 需求:已在vmware中部署好了hadoop集群,现在需通过window系统上eclipse连接hadoop进行开发。 一、配置hadoop环境 在window系统上配置hadoop环境。目前...

2019-10-14 23:07:25 80 0

原创 VMware端口映射

文章目录步骤1、虚机访问端口2、vmware端口映射3、在宿主机上访问虚机中hadoop服务问题1、宿主机ping虚机2、检查虚机防火墙 需求:在win10系统上安装了VMware,在VMware上安装了centos7操作系统,现在需要在win10宿主机上访问虚机centos7中的50070端口...

2019-10-09 22:24:55 225 0

原创 POSSIBLE DNS SPOOFING DETECTED

在配置一台宿主机两台docker容器的hadoop集群时,已经配置了三台机器的ssh,但是在启动hadoop的辅助接点时,报错如下: [root@lzj module]# start-dfs.sh Starting namenodes on [lzj] lzj: starting namenod...

2019-09-13 23:49:00 154 0

原创 3、HDFS的shell命令大全

文章目录命令大全1、-help2、-ls 显示目录信息3、-mkdir 在HDFS上创建目录4、-moveFromLocal 从本地剪切到HDFS上5、-appendToFile 追加本地文件到HDFS文件末尾6、-cat 显示文件内容7、-chmod 修改文件权限8、-copyFromLocal...

2019-08-25 14:49:14 87 0

原创 2、hadoop的运行模式(centos+docker+hadoop)

文章目录伪分布式模式 上一节介绍了hadoop的环境搭建,以及hadoop的wordcount示例的本地运行模式,本章节介绍hadoop的其它两种运行模式,依然以wordcount为例。 hadoop包括3中运行模式:本地运行模式、伪分布式模式、完全分布式模式 List item:本地运...

2019-08-20 23:18:38 426 1

原创 yum: Nothing to do

系统为centos7,在安装wget时,执行命令:yum -y install wget,提示如下错误: Loaded plugins: langpacks, versionlock Excluding 1 update due to versionlock (use "yum vers...

2019-08-04 20:07:18 2710 0

原创 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!

为了能让容器(172.17.0.3)能通过ssh免密登录宿主机,需要将宿主机上的公钥复制到容器中,在宿主机中执行命令如下: ssh-copy-id 172.17.0.3 但是执行命令时,提示如下错误: [root@fanhao-test ~]# ssh-copy-id 172.17....

2019-08-03 22:10:58 76 0

原创 dockerfile: cenos+hadoop+ssh

在进行hadoop集群测试时,用docker进行集群部署,在每个docker中部署一个hadoop服务,下面做一个镜像,用于在每个容器中启动hadoop,由于启动hadoop集群需要ssh服务,因此在镜像中加入ssh的配置。dockerfile内容如下: #version 0.1 FROM cen...

2019-07-29 23:34:25 178 0

原创 docker容器中启动hadoop的namenode,错误信息:which: command not found

在docker容器中部署hadoop时,执行hadoop-daemon.sh start namenode命令启动namenode节点,错误信息如下: 根据提示的错误信息,第28行报错,打开文件 /opt/module/hadoop-2.7.2/bin/hdfs 发现第28行内容为: bin=...

2019-07-14 21:39:43 282 0

翻译 解决普通用户无法执行dockr权限

默认安装成功后,root有执行docker命令的权限,普通用户无法执行docker命令,例如普通用户执行docker images查询镜像的命令,会提示如下无权限错误: 解决办法就是为操作docker创建一个用户组,并把普通用户添加进来,以普通用户lzj为例,步骤如下(以下命令均在root命令下...

2019-06-21 21:58:51 438 0

原创 1、hadoop环境搭建

文章目录1、创建安装目录2、安装JDK3、安装hadoop4、WordCount案例 安装hadoop,需要安装jdk和hadoop 1、创建安装目录 在/opt目录下创建module、software文件夹,software用于存放安装的源文件,module用于存放安装后的软件,即解压后的...

2019-06-07 23:07:16 69 0

原创 docker数据卷

利用数据卷可以查看容器内应用产生的数据,或者把容器内的数据进行备份,或者多个容器之间共享数据。数据卷有以下特点: 数据卷可以在容器之间共享和重用; 数据卷修改会立马生效; 对数据卷的更新,不会影响镜像; 数据卷会一直存在,知道没有容器使用 1、挂在一个主机目录做数据卷 docker run -...

2019-04-13 10:25:25 309 0

原创 解决unable to locate package net-tools

今天要在linux中执行ifconfig命令,命令无效,然后安装网络包,执行 sudo apt-get update和sudo apt install net-tools,报如下错误:unable to locate package net-tools,可以确定自己的源sources.list有问...

2019-04-07 12:25:51 7877 5

原创 dockerfile命令

一、Dockerfile 1、第一步首先编写dockerfile(本例在~/my_docker目录下创建的dockerfile) #version 0.0.1 FROM ubuntu MAINTAINER lzj "leezhongjian@163.com...

2019-03-24 23:29:41 188 0

原创 docker命令

1、service docker status 查看docker守护进程运行的状态 2、service docker start 启动docker的守护进程 3、service docker stop 关闭docker的守护进程 4、docker info 返回所有容器和镜像的数量、...

2019-03-24 23:27:48 1344 0

原创 bufio缓存读写

本篇演示通过缓存读写 package main import ( "bufio" "fmt" "os" "strings" ) func ReadBuffer() { strReader := stri...

2019-02-13 22:38:49 344 0

原创 IO读取

本篇演示从IO中读取内容,包括从字符串、终端以及磁盘文件读取内容 package main import ( "fmt" "io" "os" "strings" ) func ReadFrom(reader...

2019-02-13 22:36:05 135 0

原创 fmt输出格式化IO

fmt中用于输出格式化的常用方法如下(详情见注释): package main import ( "fmt" "os" ) func main() { /*输出,不会换行,不会格式化*/ fmt.Print("main 函数"...

2019-02-13 22:29:48 184 0

原创 Go基本语法

一、package package时最基本的分发单位和工程管理中依赖关系的体现; 每个Go语言源代码文件开都都有一个package的声明,表示源码文件所属于代码包; 要生成GO语言可执行程序,必须要有main的package包,且必须在该包下有main函数; 同一个路径下只能存在一个p...

2019-02-07 21:50:33 479 0

原创 12、多列布局

在一个块级容器中,可以通过设置把容器分成指定列数。 column-width 指定每一栏的宽度; column-count 指定要多少栏; column-gap 指定列之间的距离; column-rule 指定列之间的间隔线状态。 示例: <!DOCTYPE html&g...

2018-12-23 22:45:45 67 0

原创 11、响应式布局

响应式布局是为了开发一个网页不是为了支持某种终端,而是为了支持多种终端设备,比如每种终端的分辨率不同,可以根据不同终端的分辨率进行不同的显示。 在设置响应式布局时,需要用@media媒体选择器标识,可以从媒体类型、媒体属性、关键字设置不同的响应方式。 1、媒体类型 媒体类型常用的可选值如下(详情见...

2018-12-23 22:26:11 66 0

原创 10、flex应用

flex布局在原来的旧版上已经做了很多改动,但很多应用还是应用的旧版的,下面分别对照两种版本进行分析。 一、flex旧版 在对需要使用flex布局的容器上使用display: -webkit-box。 1、-webkit-box-orient容器的布局方向 -webkit-box-orie...

2018-12-19 20:56:49 126 0

原创 9.1、@keyframes关键帧

@keyframes定了一个动画,可以由多个帧组成。例如 @keyframes my_name{ 0%{ transform: translateY(-100px); } 50%{ transform: translateY(-50px); } 100%{ transform...

2018-12-10 21:25:58 163 0

原创 9、animation动画

除了前面章节介绍的3d变换可以做动画,还可以通过animation来做动画。下面分别介绍animation的各属性。 1、@keyframes @keyframes定义了动画的一个关键帧,可以通过控制CSS来定义关键帧的中间步骤,参考https://developer.mozilla.org/zh...

2018-12-09 22:10:36 88 0

翻译 8.1、3D变换之旋转立方体

方法一: <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <style type=&...

2018-12-05 21:32:42 121 0

原创 8、3d变换

css3中提供了三维方向的旋转、平移、缩放操作。 1、平移translate3d() translate3d(x, y, z)表示CSS 函数在3D空间内移动一个元素的位置。x、y、z如果都为正值,表示向数轴的正方向移动,如果为负值,向数轴的反方向移动。 <htm...

2018-11-12 22:06:52 70 0

原创 7、2D变换

CSS3中的 transform 属性允许你修改CSS视觉格式模型的坐标空间。使用它,元素可以被转换(translate)、旋转(rotate)、缩放(scale)、倾斜(skew)。并且transform只能用于block块级元素。详解参见 https://developer.mozilla.o...

2018-11-04 21:01:21 60 0

原创 6、过渡

在css3中新增加了多度属性,用来设置元素从一种样式变为另一种样式时过渡的动态效果。 1、transition-property transition-property 指定应用过渡属性的名称,详见: https://developer.mozilla.org/zh-CN/docs/Web/C...

2018-11-03 16:39:13 56 0

提示
确定要删除当前文章?
取消 删除