![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
java
文章平均质量分 88
大数据框架大多采用 Java 语言进行开发,并且几乎全部的框架都会提供 Java API 。Java 是目前比较主
流的后台开发语言。
菜鸟周星星
大数据开发攻城狮。更多学习和面试资料尽在微信公众号:Hadoop大数据开发
展开
-
CSP真题之灰度直方图202104-1JAVA版
题目:分析过程:一看到这个问题描述我就头疼,长篇大论、虚无缥缈的(对我这样数学比较差的)人来说,简直就是一种折磨。即使它处于csp考试的第一题,超小难度,但若是没有将抽象具体化的能力的话,再简单也是白搭。在做这个题目之前,我先解析下上一个题目:出现次数最多的数-2013-12-1.解题目的:将抽象问题转化为实际编程需求,需要具备这种能力,没有怎么办,多加锻炼。解题三部曲:1.看输入,输出。输入什么参数,需要输出什么结果。2.弄清楚输入和输出参数具体是什么...原创 2021-09-04 18:31:42 · 828 阅读 · 0 评论 -
函数式编程之实践
本示例代码全部使用java编写,目的是为了实现类scala函数式编程,或map对集合中的每一个元素做映射,结果返回新的集合或数组,要求能链式调用,且使用泛型原创 2020-12-20 14:53:32 · 128 阅读 · 1 评论 -
java中局部代码块、静态代码块、构造代码块的区别及类的加载过程和加载时机
前言本篇主要讲述java中几种常见的代码块,及它们之间的区别,并阐述了类的加载时机及加载过程,中间用代码案例加以实践阐述。代码块在java中使用{}括起来的叫做代码块,根据其位置和声明的不同,可以分为局部代码块、静态代码块、构造代码块。局部代码块:局部位置,用于限定局部变量的生命周期。构造代码块:在类的成员位置,用{} 括起来,每实例化一次对象,执行一次里面的代码,且多个构造代码块,按照顺序执行构造代码块静态代码块:在类的成员位置,用static{} 只有在类加载的时候,才会执原创 2020-12-19 20:48:27 · 220 阅读 · 1 评论 -
java maven仓库依赖出现问题解决办法
idea maven 项目 依赖 右边 时不时的出现红色波浪线下载失败 的现象,很是烦恼,原因是 有时候下载 包 可能由于网络或其他原因中断下载了一半,再重新下载就会出现问题解决办法如下1.重新打开idea 0.05% 能解决2.windows 下执行下列脚本 清除一下包,重新添加依赖,下载包set REPOSITORY_PATH=E:\my_repository\repositoryrem 正在搜索...for /f "delims=" %%i in ('dir /b ...原创 2020-12-18 15:45:20 · 321 阅读 · 0 评论 -
JAVA连接HBase客户端及HBase写入数据和读取数据原理解析
JAVA连接HBase客户端接着上篇文章进行代码的实践,从JAVA 客户端对 HBase的客户端进行一系列操作工具类:HbaseUtil静态代码块一次性创建连接对象 并赋值返回连接对象 ConnectionTable对象的创建Admin对象的创建数据的展示package cn._doit19.hbase.utils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hba.原创 2020-11-26 15:52:22 · 1805 阅读 · 0 评论 -
在Linux将MapReduce程序提交给YARN执行
什么是YARN,有什么作用YARN(分布式运算资源调度系统)我们知道我们的分布式文件存储系统HDFS,是将文件进行切块(默认128M)、备份(3份)分布式的存储在集群的各个机器上的;海量的数据需要运算 ,那如果我们写的java程序,只运行在一个机器上进行处理这些数据块的话,明显是不可取的,所以我们得让程序分布式 并行的在各个机器上(mapreduce)运算;而这些程序运行具体使用哪一台的运算资源(CPU、内存、IO、网络等),使用多少,很显然,人为分配这些资源,是很难做到公平和合理的。原创 2020-11-20 21:19:43 · 483 阅读 · 0 评论 -
Hadoop从入门到入土(三)------------HDFS集群简单维护及JAVA客户端连接HDFS
原创 2020-11-19 14:30:46 · 313 阅读 · 2 评论 -
MapReduce程序之Join案例
MapReduce程序之Join案例案例现有数据文件 order.txt、 user.txt用户文件中存储用户数据 订单文件中存储订单数据1个用户可对应多条订单数据现要求将数据进行汇总,且以订单数据为基准,拼接完整数据order.txtuser.txt思路:两个文件中关联字段为uid,1个用户对应多条订单数据,以订单数据为准,即拿到订单数据的集合,循环它,拼接上用户数据输出即可思考:mapreduce程序设计reduce 最终需要输出:完...原创 2020-11-18 17:13:26 · 168 阅读 · 0 评论 -
MapReduce程序之Index串联案例
Index串联案例现有三个文件 a.html b.html c.html ,里面分别记录着单词,如下图所示,现需要计算出 每个单词在每个文件出现的次数,格式如下: Hello a.html-4 b.html-8 c.html-10a.htmlhello tomhello jim hello kittyhello roseb.htmlhello jerryhello jimhello kittyhello jack...原创 2020-11-17 21:30:48 · 230 阅读 · 0 评论 -
Hadoop从入门到入土(一)------------java知识复习+大数据开发简介
知识复习序列化和反序列化序列化:将java程序中的对象 写入持久化到 硬盘当中,转变为二进制的数据,这个过程称为序列化,也叫钝化。反序列化:而将硬盘中二进制的数据 读取到java程序中转化为对象,这个过程称为反序列化,也叫活化。应用场景:将内存中的对象数据持久化到硬盘当中;将硬盘中的数据 反序列化到内存当中;在网络中传输对象,都需要使用到序列化和反序列化。代码示例见上篇文章 序列化与反序列化优化jdk序列化数据冗余问题jdk自带的序列化数据,往往会自带一些其他冗余的...原创 2020-11-16 21:43:09 · 279 阅读 · 0 评论 -
java中的序列化和反序列化
java中的序列化和反序列化序列化使用的场景1.在持久化对象时,使用序列化。2.在网络中传输对象时,使用对象的序列化。持久化对象新建Person类import java.io.Serializable;public class Person implements Serializable { private String name; private int age; public Person() { } public Perso原创 2020-11-11 21:01:50 · 166 阅读 · 2 评论 -
4.29—第一个程序及标识符和数据类型
mac版idea注释是command+/ 代码格式化 command+option+L类名要和文件名一模一样,public static void main(String[] args){}是万年不变的固定写法,代表main方法,代表程序执行的起点。标识符:在程序中我们自定义的内容,比如类的名字,方法的名字,变量名等等。命名规则:标识符不能以数字开头标识符不能是关键字类名规范:...原创 2020-05-06 10:46:11 · 86 阅读 · 0 评论 -
5.16--java数据类型转换及杂记
我们先来回顾一下前面学的java中的数据类型:java中数据类型分为基本数据类型和引用型数据类型8种基本数据类型(值类型)整型:byte(-128~127)、short、int、long long数据结尾要加“L”【C#中byte的数据范围为:(0-255)】浮点型:float、double float数据结尾要加“F”字符型:char布尔型:boolean除了以上8中基本数据类型之外,其余的...原创 2020-05-16 23:40:09 · 194 阅读 · 0 评论 -
java入门到入土---计算机基础知识及java前期准
大家好,我是大成子,从今天开始我们学习java。开始学java并不代表着之前的.net 不学了,我觉得C#也是一门特别优秀的语言。由于公司今后阶段即将转向java,为了自身发展,可能会两个语言并行,毕竟语言只是工具,多学一门也没有什么坏处,最重要的是要有一颗不放弃的心,相信自己,并为之去努力,重复,积累,相信,美好的一天会到来。本次学习,将为我们之后学习java,做一些前期的准备工作。计算机中全部...原创 2020-04-28 23:10:39 · 215 阅读 · 0 评论 -
6.2--java 的内存划分及杂谈
大家好呀,我是大成子。今天主要讲一下 java 中内存划分这块知识点,然后整理一下学习的大纲,对后面的知识学习有一个整体的展望和把握。 java 内存 5 个区域的划分++在前和++在后的区别学习大纲java 的内存划分java 的内存需要划分为五个部分,内存其实就是你计算机当中的内存条,任何应用程序,如果想要运行,都必须为其开辟一块内存空间,那么整体的内存是由你 computer 的操作系统来...原创 2020-06-02 01:15:22 · 103 阅读 · 0 评论