自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

绵绵的博客

全部都是编程的实例哦

  • 博客(7)
  • 资源 (1)
  • 收藏
  • 关注

原创 mapreduce实现排序

近几次的分享都是关于mapreduce的,下面就排序进行讲解package DemoSort;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import or

2020-09-19 19:29:48 169

原创 使用MapReduce在集群上进行分区操作

在mapreduce道路上的同志,或许以下代码能带来启发1、需要将数据上传到hdfs(集群上面)2、将idea中的代码打包上传到集群3、在集群上执行hadoop jar 名字.jar DemoParter.PartitionMapper /in /out代码如下:package DemoParter;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;impor

2020-09-17 19:39:26 133

原创 MapReduce编程实现WordCount

在学习MapReduce的路上的伙伴,wordCount是入门了解map和reduce的工作原理。接下来总结一下MapReduce的实验基本过程map过程:1、map读取输入文件内容,按行解析成key1、value1键值对,key为每行首字母在文件中的偏移量,value为行的内容,每个键值对调用一次map函数;2、map根据自己逻辑,对输入的key1、value1处理,转换成新的key2、value2输出;3、对输出的key2、value2进行分区;4、对不同分区的数据,按照key2进行排序、

2020-09-15 20:06:17 181

原创 面试运维工程师的面试题(亲身经历)

这是我前几天面试时面试官问的问题 后来查找的答案,若有错误希望提出,也希望帮知道要面试的你。1、shell脚本如何定义变量name=‘dsd’echo =$name2、对export的用法的理解(1) export 用于声明一个环境变量: export variable=value(2) 该环境变量只在本进程和其子进程中可以访问。(3) 如果是在系统级的配置文件中,如 /etc/profile中 export 一个变量,那么这个变量就会在整个系统运行期间都起作用。即使新开shell会话连接

2020-09-13 22:06:23 1842

原创 重定向输出流实现程序日志

1、String的成员方法out是被final修饰的变量,所以是不能修改的,但是可以利用setout()方法来设置新的输出流2、下面实例将将输出到日志文件3、PrintStream ps =new PrintStream("./log.txt") PrintStream可以创建文件的输出流package com.qst.T004;import java.io.FileNotFoundException;import java.io.PrintStream;public class Redi

2020-09-13 20:04:10 24

原创 了解hashCode的作用、switch case的基本语法

1、hashCode用于输出一段字符串的哈希码2、hashCode在使用过程中可以用来判断连个对象是否相等,但值得注意的是当两个hashCode的哈希码相等时表示有可能是指同一个对象,但hashCode的值不相等时一定指的是不同的对象。package com.qst.T003;import java.util.Scanner;public class Exanple { public static void main(String[] args) {// Scanner scan=new

2020-09-13 18:46:00 119

原创 输入一个年份判断是否是闰年

package com.qst.T001;import java.util.Scanner;public class LeapYear {public static void main(String[] args) {//考察的Java基础主要考察公式的编写 Scanner scan =new Scanner(System.in);System.out.println(“请输入一个年份”);//输入一个值要使用Scannerlong year = scan.nextLong();//判断

2020-09-13 11:06:42 652

spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址

这是每个学习spark必备的jar包,是根据我的个人试验后所得,官网正版,在spark官网下载。 资源包里不仅有需要的jar包,并且给不会再官网上下载的新手官方网址,可以自由下载资源

2020-05-22

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除