苍鹰蛟龙-CSDN博客

原创 10、Hadoop切片机制

一个超大文件在HDFS上存储时，是以多个Block存储在不同的节点上，比如一个1G的文件，HDFS默认一个Block为128M，那么1G的文件分成8个Block存储在集群中8个节点上。Hadoop在map阶段处理上述1G的大文件时分成几个MapTask进行处理呢？...

2020-03-31 22:19:56 3906

文章目录1、建立输入数据对应的bean2、建立Mapper分割处理数据3、建立Reducer合并数据4、建立job的启动类5、测试序列化就是把内存中的对象转化成字节序列，便于网络间传输和持久化到硬盘上，避免数据掉电丢失。在Haoop中定义的最常用的基本对象，都已经实现了org.apache.hadoop.io.Writable接口，比如BooleanWritable、ByteWritable、...

2019-12-12 00:07:54 430

原创 8、MapReduce实现WordCount单词统计

文章目录一、Mapper阶段二、Reduce阶段三、Driver阶段四、集群测试MapReduce分布式计算包含两个阶段：Mapper和Reduce。一个完整的MapReduce程序在分布式计算时包括三类实例进程：MrAppMaster:负责整个程序的过程调度及状态协调；MapTask:负责Map阶段整个数据处理流程；ReduceTask:负责Reduce阶段整个数据处理流程。Map...

2019-12-01 23:26:40 1231

原创 7、HDFS输入输出流

文章目录1、HDFS IO文件写入2、HDFS IO文件读取3、HDFS IO定位读取HDFS的输入输出流用于对HDFS文件进行字节的读取或写入。1、HDFS IO文件写入把windows本地文件通过HDFS的输出流写到HDFS文件中。@Testpublic void testHDFSIoOutput() throws IOException, InterruptedException,...

2019-10-20 22:27:57 1981 1

原创 6、eclipse + HDFS参数优先级

文章目录1、采用集群中配置2、采用classpath下的文件中配置的3、采用代码中的配置总结配置集群时，关于HDFS的配置都在/etc进行了相关配置，用eclipse客户端进行开发时，可以用更高优先级的配置覆盖掉集群中的配置。下面以设置副本为例。在hadoop集群中hdfs-site.xml的配置如下：<?xml version="1.0" encoding="UTF-8"?>...

2019-10-19 11:25:19 197

原创 5、eclipse + HDFS的文件操作

文章目录1、文件上传2、文件下载3、删除文件或文件夹4、文件重命名5、文件详情查看6、文件或文件夹判断eclipse + hadoop的开发环境搭建，请参考上一章节。1、文件上传把windows本地的文件上传到HDFS中，示例：@Testpublic void testCopyFromLocalFile() throws IOException, InterruptedException...

2019-10-17 22:25:23 522

原创 4、eclipse + vmware + hadoop环境搭建

文章目录一、配置hadoop环境二、配置eclipse远程连接hadoop环境三、HDFS demo示例需求：已在vmware中部署好了hadoop集群，现在需通过window系统上eclipse连接hadoop进行开发。一、配置hadoop环境在window系统上配置hadoop环境。目前利用hadoop版本为hadoop-2.7.2。下载或者编译好hadoop2.7.2后，环境配置如下...

2019-10-14 23:07:25 544

原创 VMware端口映射

文章目录步骤1、虚机访问端口2、vmware端口映射3、在宿主机上访问虚机中hadoop服务问题1、宿主机ping虚机2、检查虚机防火墙需求：在win10系统上安装了VMware，在VMware上安装了centos7操作系统，现在需要在win10宿主机上访问虚机centos7中的50070端口。由于宿主机不能直接访问虚机中的端口，需要通过vmware把虚机中的端口映射到宿主机未被占用的端口上，然...

2019-10-09 22:24:55 2205

原创 POSSIBLE DNS SPOOFING DETECTED

在配置一台宿主机两台docker容器的hadoop集群时，已经配置了三台机器的ssh，但是在启动hadoop的辅助接点时，报错如下：[root@lzj module]# start-dfs.sh Starting namenodes on [lzj]lzj: starting namenode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-...

2019-09-13 23:49:00 525 1

原创 3、HDFS的shell命令大全

文章目录命令大全1、-help2、-ls 显示目录信息3、-mkdir 在HDFS上创建目录4、-moveFromLocal 从本地剪切到HDFS上5、-appendToFile 追加本地文件到HDFS文件末尾6、-cat 显示文件内容7、-chmod 修改文件权限8、-copyFromLocal 从本地拷贝到HDFS9、-copyToLocal 从HDFS拷贝到本地10、-cp HDFS内部文件...

2019-08-25 14:49:14 717

原创 2、hadoop的运行模式（centos+docker+hadoop）

文章目录伪分布式模式上一节介绍了hadoop的环境搭建，以及hadoop的wordcount示例的本地运行模式，本章节介绍hadoop的其它两种运行模式，依然以wordcount为例。hadoop包括3中运行模式：本地运行模式、伪分布式模式、完全分布式模式List item：本地运行模式：没有启动hadoop的守护进程，所有的程序都运行在本地的JVM中，适合开发学习和调试mapreduce...

2019-08-20 23:18:38 753 1

原创 yum: Nothing to do

系统为centos7，在安装wget时，执行命令：yum -y install wget，提示如下错误：Loaded plugins: langpacks, versionlockExcluding 1 update due to versionlock (use "yum versionlock status" to show it)Package wget-1.14-18.el7_6.1...

2019-08-04 20:07:18 13645 2

原创 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!

为了能让容器(172.17.0.3)能通过ssh免密登录宿主机，需要将宿主机上的公钥复制到容器中，在宿主机中执行命令如下： ssh-copy-id 172.17.0.3但是执行命令时，提示如下错误：[root@fanhao-test ~]# ssh-copy-id 172.17.0.3/usr/bin/ssh-copy-id: INFO: Source of key(s) to...

2019-08-03 22:10:58 268

原创 dockerfile: cenos+hadoop+ssh

在进行hadoop集群测试时，用docker进行集群部署，在每个docker中部署一个hadoop服务，下面做一个镜像，用于在每个容器中启动hadoop，由于启动hadoop集群需要ssh服务，因此在镜像中加入ssh的配置。dockerfile内容如下：#version 0.1FROM centosWORKDIR /optRUN mkdir moduleADD . /opt/modul...

2019-07-29 23:34:25 531

原创 docker容器中启动hadoop的namenode，错误信息：which: command not found

在docker容器中部署hadoop时，执行hadoop-daemon.sh start namenode命令启动namenode节点，错误信息如下：根据提示的错误信息，第28行报错，打开文件/opt/module/hadoop-2.7.2/bin/hdfs发现第28行内容为： bin=which $0可知docker容器中没有安装which 命令工具。解决办法：在docker 容...

2019-07-14 21:39:43 2089 1

翻译解决普通用户无法执行dockr权限

默认安装成功后，root有执行docker命令的权限，普通用户无法执行docker命令，例如普通用户执行docker images查询镜像的命令，会提示如下无权限错误：解决办法就是为操作docker创建一个用户组，并把普通用户添加进来，以普通用户lzj为例，步骤如下（以下命令均在root命令下执行）：1、创建docker用户组groupadd docker2、把普通用户lzj添加到do...

2019-06-21 21:58:51 1150

原创 1、hadoop环境搭建

文章目录1、创建安装目录2、安装JDK3、安装hadoop4、WordCount案例安装hadoop，需要安装jdk和hadoop1、创建安装目录在/opt目录下创建module、software文件夹，software用于存放安装的源文件，module用于存放安装后的软件，即解压后的文件。mkdir modulemkdir software2、安装JDK下载JDK（提取码：n43...

2019-06-07 23:07:16 202

原创 docker数据卷

利用数据卷可以查看容器内应用产生的数据，或者把容器内的数据进行备份，或者多个容器之间共享数据。数据卷有以下特点：数据卷可以在容器之间共享和重用；数据卷修改会立马生效；对数据卷的更新，不会影响镜像；数据卷会一直存在，知道没有容器使用1、挂在一个主机目录做数据卷docker run -v /home/lzj/my_docker:/home/lzj -it ubuntu /bin/bas...

2019-04-13 10:25:25 486

原创解决unable to locate package net-tools

今天要在linux中执行ifconfig命令，命令无效，然后安装网络包，执行 sudo apt-get update和sudo apt install net-tools，报如下错误：unable to locate package net-tools，可以确定自己的源sources.list有问题，但是从网上找了很多的源，一直解决不了问题，最终找到下面的源解决了问题。ubuntu版本：17.0...

2019-04-07 12:25:51 51877 14

原创 dockerfile命令

一、Dockerfile1、第一步首先编写dockerfile（本例在~/my_docker目录下创建的dockerfile）#version 0.0.1FROM ubuntuMAINTAINER lzj &amp;quot;leezhongjian@163.com&amp;quot;RUN touch ~/hello.txtRUN echo &amp;quot;hello lzj&amp;quot; &

2019-03-24 23:29:41 741

原创 docker命令

1、service docker status查看docker守护进程运行的状态2、service docker start启动docker的守护进程3、service docker stop关闭docker的守护进程4、docker info返回所有容器和镜像的数量、docker使用的执行驱动和存储驱动、以及docker的基本配置信息5、docker run [OPTIONS] ...

2019-03-24 23:27:48 5068 1

原创 bufio缓存读写

本篇演示通过缓存读写package mainimport ( "bufio" "fmt" "os" "strings")func ReadBuffer() { strReader := strings.NewReader("hello world") bufferReader := bufio.NewReader(strReader) /*Peek只读不取，所以缓存中...

2019-02-13 22:38:49 864

原创 IO读取

本篇演示从IO中读取内容，包括从字符串、终端以及磁盘文件读取内容package mainimport ( "fmt" "io" "os" "strings")func ReadFrom(reader io.Reader, num int) ([]byte, error) { p := make([]byte, num) n, err := reader.Read(p) i...

2019-02-13 22:36:05 488

原创 fmt输出格式化IO

fmt中用于输出格式化的常用方法如下（详情见注释）：package mainimport ( "fmt" "os")func main() { /*输出，不会换行，不会格式化*/ fmt.Print("main 函数") //main 函数 /*输出格式化*/ fmt.Printf("%s\n", "hello world") //hello world ...

2019-02-13 22:29:48 654

原创 Go基本语法

一、packagepackage时最基本的分发单位和工程管理中依赖关系的体现；每个Go语言源代码文件开都都有一个package的声明，表示源码文件所属于代码包；要生成GO语言可执行程序，必须要有main的package包，且必须在该包下有main函数；同一个路径下只能存在一个package，一个package可以由多个源文件组成二、importimport 只有一个功能，导入源代码...

2019-02-07 21:50:33 2569

原创 12、多列布局

在一个块级容器中，可以通过设置把容器分成指定列数。column-width 指定每一栏的宽度；column-count 指定要多少栏；column-gap 指定列之间的距离；column-rule 指定列之间的间隔线状态。示例：<!DOCTYPE html><html> <head> <meta charset="UTF-8"&gt...

2018-12-23 22:45:45 194

原创 11、响应式布局

响应式布局是为了开发一个网页不是为了支持某种终端，而是为了支持多种终端设备，比如每种终端的分辨率不同，可以根据不同终端的分辨率进行不同的显示。在设置响应式布局时，需要用@media媒体选择器标识，可以从媒体类型、媒体属性、关键字设置不同的响应方式。1、媒体类型媒体类型常用的可选值如下(详情见：https://developer.mozilla.org/zh-CN/docs/Web/CSS/@...

2018-12-23 22:26:11 363

原创 10、flex应用

flex布局在原来的旧版上已经做了很多改动，但很多应用还是应用的旧版的，下面分别对照两种版本进行分析。一、flex旧版在对需要使用flex布局的容器上使用display: -webkit-box。1、-webkit-box-orient容器的布局方向-webkit-box-orient属性本质上确定了主轴是哪一根，因为容器内的内容默认是按主轴进行排列的。可选值包括：horizontal...

2018-12-19 20:56:49 248

原创 9.1、@keyframes关键帧

@keyframes定了一个动画，可以由多个帧组成。例如@keyframes my_name{ 0%{ transform: translateY(-100px); } 50%{ transform: translateY(-50px); } 100%{ transform: translateY(100px); }}可知my_name动画由两帧组成，第一帧从0%到...

2018-12-10 21:25:58 533

原创 9、animation动画

除了前面章节介绍的3d变换可以做动画，还可以通过animation来做动画。下面分别介绍animation的各属性。1、@keyframes@keyframes定义了动画的一个关键帧，可以通过控制CSS来定义关键帧的中间步骤，参考https://developer.mozilla.org/zh-CN/docs/Web/CSS/@keyframes示例：@keyframes my_name{...

2018-12-09 22:10:36 213

翻译 8.1、3D变换之旋转立方体

方法一：<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <style type="text/css"> *{ margin: 0; padding: 0; } #wrap{ position: absolute;

2018-12-05 21:32:42 255

原创 8、3d变换

css3中提供了三维方向的旋转、平移、缩放操作。1、平移translate3d()translate3d(x, y, z)表示CSS 函数在3D空间内移动一个元素的位置。x、y、z如果都为正值，表示向数轴的正方向移动，如果为负值，向数轴的反方向移动。 &lt;html&gt; &lt;head&gt; &lt;meta charset="UTF-8"&

2018-11-12 22:06:52 211

原创 7、2D变换

CSS3中的 transform 属性允许你修改CSS视觉格式模型的坐标空间。使用它，元素可以被转换（translate）、旋转（rotate）、缩放（scale）、倾斜（skew）。并且transform只能用于block块级元素。详解参见 https://developer.mozilla.org/zh-CN/docs/Web/CSS/transform关于几种转换形式，参看如下示例&lt...

2018-11-04 21:01:21 137

原创 6、过渡

在css3中新增加了多度属性，用来设置元素从一种样式变为另一种样式时过渡的动态效果。1、transition-propertytransition-property 指定应用过渡属性的名称，详见： https://developer.mozilla.org/zh-CN/docs/Web/CSS/transition-propertytransition-property可以取3种值：no...

2018-11-03 16:39:13 185

翻译 5.1 线性渐变

在CSS3中设置background-image时，可以调用linear-gradient设置渐变。格式linear-gradient（[direction]，color-stop1, color-stop2, …）其中，direction可以是to left/to top/to right/to bottom例如1、从左向右由green渐变为yellowbackground-image...

2018-10-31 21:22:57 194

原创 4、背景

一、css2中背景1、background-positionbackground-position属性设置了背景图片的初始位置，例如background-position：10px 20px 表示背景图片相对于原来初始的位置向左移动10px，向上移动20px。详解见 https://developer.mozilla.org/zh-CN/docs/Web/CSS/background-posi...

2018-10-28 22:38:22 205

原创 3、盒模型新增样式

在CSS3中盒模型新增了box-shadow样式，该样式可以为盒模型设置阴影，详解见 box-shadow示例，下面为盒模型设置阴影&lt;!DOCTYPE html&gt;&lt;html&gt; &lt;head&gt; &lt;meta charset="UTF-8"&gt; &lt;title&

2018-10-25 20:27:07 165

原创 2、文本样式

CSS3中新增了text-shadow样式，text-shadow用来设置文本阴影，详解见 https://developer.mozilla.org/zh-CN/docs/Web/CSS/text-shadow 。以下为利用阴影设置的几种样式1、浮雕文字<!DOCTYPE html><html> <head> <meta charset="...

2018-10-23 21:27:57 173

原创 1、属性选择器

1、选择标签对象中含有的属性格式： label[attr]例如<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title></title> <style type="text/css"> d

2018-10-20 22:38:51 169

原创 2.5 内容居中

要把一块div包装的内容居中于一个div容器中，内容的高度未知，用下面方法可实现内容居中<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title></title> /*未知高度的内容垂直居中*/ <style type=&quo

2018-10-16 23:09:24 173

helm-tiller.tar

kubeadm-basic.images.tar.gz

android入门教程

空空如也