2021年02月_林中有神君

12月 11月 10月 09月 08月 07月 06月 04月 03月 02月 01月

原创 KeyValueTextInputFormat使用案例

统计输入文件中每一行的第一个单词相同的行数。（1）输入数据banzhang ni haoxihuan hadoop banzhangbanzhang ni haoxihuan hadoop banzhang（2）期望结果数据banzhang 2xihuan 2map类package KVText;import java.io.IOException;//banzhang ni haoimport org.apache.hadoop.io.LongWritable;impo

2021-02-26 14:45:20 141

原创 MapReduce job任务源码提交流程

waitForCompletion()submit();// 1建立连接 connect(); // 1）创建提交Job的代理 new Cluster(getConfiguration()); // （1）判断是本地yarn还是远程 initialize(jobTrackAddr, conf); // 2 提交jobsubmitter.submitJobInternal(Job.this, cluster) // 1）创建给集群提交数据的Stag路径 Path jo

2021-02-25 23:09:55 73

原创切片与MapTask并行度决定机制

MapTask并行度决定机制数据块：Block是HDFS物理上把数据分成一块一块。数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。

2021-02-25 00:38:12 78 1

原创 MapReduce学习要点

1、mapreduce核心编程思想2、mapreduce的三类实例进程（MrAppMaster、MapTask、ReduceTask）3、wordcount官方案例4、MapReduce编程规范（三个部分mapper、reducer、dirver）5、本地测试、集群测试6、Hadoop序列化概述7、自定义bean对象实现序列化接口（writable）8、InputFormat数据输入9、数据切片与MapTask并行度决定机制10、job提交流程及切片源码11、FileInputForma

2021-02-24 22:30:09 112

原创 Hadoop序列化及案例

1、什么是序列化？序列化就是把内存中的对象，转化成字节序列(或者其他数据传输协议)以便与持久化储存到磁盘和网络传输。2、什么是反序列化？反序列化就是将收到的字节序列或者其他数据协议或者是磁盘的持久化数据转换成内存中的对象。3、为什么要序列化？序列化可以存储“活的”对象，可以将活的对象发送到远程计算机。为什么不用java序列化？java序列化是个重量级的序列化框架，一个对象被序列化后，会附带很多额外的信息，降低网络传输效率。Hadoop序列化的特点：1、紧凑2、快速3、.

2021-02-23 19:00:19 198

原创解决虚拟机黑屏的办法

解决方法一：1、以管理员身份运行命令提示符（cmd.exe），输入命令 netsh winsock show catalog按下回车键执行命令（可以看到VMware注册了两个LSP：vSockets DGRAM、vSocketsSTREAM，路径是%windir%\system32\vsocklib.dll）2、观察有没有其他模块也注册了vSocketsDGRAM、vSockets STREAM，如果有，就卸载掉这个模块所属的软件。3、在命令提示符输入netsh winsock reset，并.

2021-02-21 23:17:55 1941

原创 MapReduce官方案例wordcount

wordcountReduce.javapackage MaperReduce;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;//reduce阶段/** 四个泛型的解释* KEYIN:K2的类型* VALUEIN:V2的类型* * .

2021-02-18 15:25:57 690

原创 MapReduce工作原理

MapReduce工作原理MapReduce开发一共有八个步骤，其中Map阶段分为两个步骤，shuffle阶段4个步骤，Reduce阶段分为2个步骤Map阶段；1、设置inputFormat类，将数据切分key-value(k1和v1)，输入到第二步2、自定义Map逻辑，将第一步的结果转换成另外的Key-Value(k2和v2)，输出结果shuffle阶段3、对输出的key-Value对进行分区4、对不同分区的数据按照相同的key排序5、对分组过的数据初步规约，降低数据的网络拷贝6、对数据

2021-02-17 20:18:23 134

原创常见的HDFS API编程

package com.wyg.hdfs;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.net.MalformedURLException;import java.net.URL;import java.net.URI;import java.net.URISyntaxException;impor

2021-02-17 16:16:25 213

原创 HDFS API操作的访问方式及JUnit测试类的使用

HDFS API操作的访问方式：主要分为使用文件系统访问方式和URL访问方式package com.wyg.hdfs;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.net.MalformedURLException;import java.net.URL;import java.net.URI;.

2021-02-17 11:58:24 142

原创一个完整的person类

package object01;//测试类public class Persontest { public static void main(String[] args) { // 创建Person类的对象 Person p = new Person(); // 调用对象的构造，属性，方法 // 调用属性，对象 p.name = "小华"; p.isMale = true; System.out.println(p.name); // 调用方法 p.slee

2021-02-15 15:04:34 586 4

原创 hadoop在windows上的环境配置及HDFS API编程示范

1、将Hadoop压缩包解压放在指定目录2、Hadoop本地环境配置新建一个HADOOP_HOME添加path

2021-02-11 14:52:09 560 2

原创 hadoop fs ，hadoop dfs 和 hdfs dfs的区别以及HDFS的shell操作

hadoop fs ，hadoop dfs 和 hdfs dfs的区别1、hadoop fs：该命令可以作用于hadoop的所有子系统2、hadoop dfs：专门针对HDFS分布式文件系统3、hdfs dfs：专门针对HDFS分布式文件系统，使用hadoopdfs时内部会被转为hdfs dfs命令常用命令：1、-help：输出这个命令参数2、-ls: 显示目录信息3、-mkdir：在HDFS上创建目录4、-moveFromLocal：从本地剪切粘贴到HDFS5、-appe

2021-02-11 14:21:13 1743

原创 HDFS组成架构

HDFS组成架构NameNode:就是Master,管理者也叫DHFS的主服务器1、管理HDFS的名称空间2、配置副本3、管理Block(数据块，一般一块是128M)的映射信息4、处理客户端读写请求DataNode:就是Slave namenode下达指令 datanode执行操作 1、储存实际信息2、执行数据块的读写操作Client：客户端1、文件切分2、与NameNode交互，获取文件位置3、与DataNode交互，读取写入数据Secondary NameNo

2021-02-11 14:05:18 246 3

原创 hadoop 权限错误 Permission denied: user=root, access=WRITE, inode=“/“:hdfs:super

这里的意思是当前hadoop命令的用户没有执行该命令的权限遇到此类权限问题：我的解决思路是1、先查看代码有没有写错2、修改你的用户权限。3、先进入该用户再输入su hdfs，再次执行命令尝试...

2021-02-10 22:39:41 2407

原创新安装的centos使用ifconfig无效或者无法使用的解决办法

问题描述：原因分析：最小化安装CentOS等Linux发行版的时候会默认不安装ifconfig等命令因为ifconfig命令是才/sbin目录下的，所以我们去查看一下到底在不在，如果他在，那就是肯定能执行的安装ifconf命令之前查看你的网卡是否激活，只改最后一项，其他的先不用动，如果你去手动配置ip，网关，dns等等，是不会有网的，本人亲测！重启网卡查找ifconfig命令的安装包让我们去安装net-tools.x86_64包ok...

2021-02-07 23:41:57 715

原创 Linux环境下安装Hadoop（完全分布式）

切换到安装目录解压Hadoop压缩包修改软件名称hadoop配置切换目录将以下配置文件放在usr/app/hadoop2.7.3/etc/hadoop/目录下（这里的文件是老师配好的，下一步自己要下去学会）配置hadoop环境让hadoop环境配置生效查看hadoop版本信息将hadoop拷贝到第二台机器上拷贝到第三台将环境变量拷贝到第二台将环境变量拷到第三台分别让配置信息生效第二台第三台格式化文件系统以.

2021-02-06 02:24:48 295

原创 Linux环境下的jdk安装（大数据环境）

jdk安装创建软件存放目录上传文件（我使用的MobaXterm）创建解压目录解压jdk压缩包修改软件名，使他简洁易操作配置环境变量让配置文件生效查看jdk版本信息将HP01 的usr文件夹整体拷贝到HP02 HP03目录下将HP01的环境变量也拷到HP01和HP02让HP02的环境变量生效第三台机器同理（重复操作）...

2021-02-06 00:38:09 137

原创 Hadoop下虚拟机的创建与克隆

创建三个虚拟机，放在指定目录修改HP01网卡配置 192.168.2.xx1修改HP02网卡配置 192.168.2.xx2修改HP03网卡配置 192.168.2.xx3测试虚拟机能否和Windows相互ping通修改HP02的名称vi /etc/hostname 删除原来的加上HP02HP03同理修改完之后重启...

2021-02-05 17:44:44 201

原创 Linux虚拟机出现卡死且无法结束进程的解决办法

由于虚拟机和Windows的版本不兼容及其他原因可能会造成虚拟机无法正常开启和关闭，以及出现该虚拟机繁忙提示，这时候简单的重启电脑是没有用的。你的任务管理器里还是会有vmware.exe这个程序，且会占用大量的内存空间，会让你的笔记本电脑像空调一样响。看看有没有vmware.exe这个程序在运行，这时候一般结束任务是不行的点击电脑最左下再点击Windows PowerShell (管理员)(A) ,进入 cmd 窗口去输入一个命定 netsh winsock reset重启电脑重启电脑

2021-02-04 00:49:21 4376 4

原创 Java实现杨辉三角

代码实现package day01;public class yanghui { public static void main(String[] args) { // 声明二维数组并初始化 int[][] yanghui = new int[10][]; // 给二维数组赋值 for (int i = 0; i < yanghui.length; i++) { yanghui[i] = new int[i + 1]; // 给首末元素赋值 yanghu.

2021-02-03 16:38:43 64

原创 java数组学习

2021-2.2 数组一维数组的使用1、一维数组的声明和初始化2、如何调用数组的指定位置的元素3、如何获取数组的长度4、如何遍历数组5、数组元素的默认初始化值6、数组的内存解析package day01;import java.util.Arrays;public class Array01 { public static void main(String[] args) { // 1、一维数组的声明和初始化 int num; // 声明 num = 10; // 初

2021-02-03 00:14:06 107 1

原创 2021-1-31linux学习纪要

网络配置linux网络环境配置第一种方法（自动获取）第二种方法（指定固定的ip）直接修改配置文件来指定ip，并可以连接到外网（程序员玩的），编辑vi /etc/sysconfig/network-scripts/ifcfg-eth0真机ping虚拟机虚拟机ping真机相互ping通才能远程登录如果ping不通看vmnet8的网段是不是和虚拟机的一致网卡修改完一定要重启网卡或者重启机器进程管理（核心内容）1、在Linux中，每个执行的程序（代码）都称为一个进程，每个进程都分配一个id2、

2021-02-01 01:30:15 109

fisco bcos 2022年金砖地区区块链比赛赛题答案

教育部会同外交部、人社部和金砖国家工商理事会等单位成立金砖国家职业技能大赛组委会。大赛赛题制定及裁判工作由五国专家组成的专家委员会负责。大赛由金砖五国政府部门指导，在整合各国职教特色与办赛资源的基础上优化赛事设计，对标世界技能大赛，聚焦高端制造、数字经济、新产业、新业态、新技术等重点领域设置机器学习与大数据、Web技术等20余个赛项，以提升五国职业院校师生在创新、协调、组织、合作等方面的能力，丰富五国职业院校和企业交流与合作内容，整体推进金砖国家国际化高质量技能人才培养

2022-06-22