小明的大数据-CSDN博客

转载 json 4种格式全解析

json 4种格式全解析1 简单的一个 { ，，，，}2 里面有数组 { , [{,,},{,,}],} 3 直接一个数组4 数组里有数组5 其他情况？没有吧，除非json格式不规范 package com.example.json;import java.net.URL;import org.json.JSONArray;import org.json.JSONException;i...

2018-05-22 11:53:32 398

1.命令行的方式：打包jar cf JAR文件名称程序文件名称或者程序所在的文件夹举例：jar cf MyApp.jar D:JavaProjectMyApp查看一个jar文件的内容jar tvf JAR文件名称举例：jar tvf MyApp.jar将一个jar文件解压缩jar xf JAR文件名称举例：jar xf MyApp.jar往压缩包里面增加文件jar xf JAR文件名称添加的文...

2018-02-26 17:32:38 6710

转载 mapreduce 中 map数量与文件大小的关系学习mapreduce过程中， map第一个阶段是从hdfs 中获取文件的并进行切片，我自己在好奇map的启动的数量和文件的大小有什么关系

mapreduce 中 map数量与文件大小的关系学习mapreduce过程中， map第一个阶段是从hdfs 中获取文件的并进行切片，我自己在好奇map的启动的数量和文件的大小有什么关系，进过学习得知map的数量和文件切片的数量有关系，那文件的大小和切片的数量的有什么关系，下面我就进入Hadoop的源代码进行研究一下文件的大小和切片的数量有什么关系。文件获

2017-12-19 11:14:29 1851

转载 Hadoop YARN配置参数剖析(3)—MapReduce相关参数

MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。以下这些参数全部在mapred-site.xml中设置。1. MapReduce Job

2017-12-11 15:15:58 290

转载 Hive常用参数配置详细记录

hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） truehive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。 1342

2017-11-14 20:07:54 2938

转载深入jar包：从jar包中读取资源文件

我们常常在代码中读取一些资源文件(比如图片，音乐，文本等等)。在单独运行的时候这些简单的处理当然不会有问题。但是，如果我们把代码打成一个jar包以后，即使将资源文件一并打包，这些东西也找不出来了。看看下面的代码：Java代码 //源代码1： package edu.hxraid; import java.io.*; public class Res

2017-11-09 15:51:25 931

转载 Hive中ObjectInspector作用

ObjectInspector是Hive中一个咋一看比较令人困惑的概念，当初读Hive源代码时，花了很长时间才理解。当读懂之后，发现ObjectInspector作用相当大，它解耦了数据使用和数据格式，从而提高了代码的复用程度。简单的说，ObjectInspector接口使得Hive可以不拘泥于一种特定数据格式，使得数据流 1）在输入端和输出端切换不同的输入/输出格式 2）在不同的Oper

2017-11-06 15:31:18 1254

转载利用加密算法DES实现java代码加密

利用加密算法DES实现java代码加密传统的C/C++自动带有保护机制，但java不同，只要使用反编译工具，代码很容易被暴露，这里需要了解的就是Java的ClassLoader对象。 Java运行时装入字节码的机制隐含地意味着可以对字节码进行修改。JVM每次装入类文件时都需要一个称为ClassLoader的对象，这个对象负责把新的类装入正在运行的JVM。

2017-11-01 10:55:41 1268

转载 linux shell 将多行文件转换为一行

linux shell 将多行文件转换为一行 1. 采用awk awk BEGIN{RS=EOF}'{gsub(/\n/," ");print}' file 说明：awk默认将记录分隔符（record separator即RS）设置为\n，此行代码将RS设置为EOF（文件结束），也就是把文件视为一个记录，然后通过gsub函数将\n替换成空格，

2017-10-31 16:02:56 1049

原创 shell 如何在文件的开头插入一行

#cat file.txtaaaaabbbbb#sed '1i\ccccc' file.txtcccccaaaaabbbbb

2017-10-30 15:09:22 18234

转载 Shell脚本去重的几种方法实例

这篇文章主要介绍了Shell脚本去重的几种方法实例,本文直接给出代码实例,需要的朋友可以参考下测试文件复制代码代码如下:[root@bogon ~]# cat >testjasonjasonjasonfffffjason按 Ctr + D保存1、sort -u复制代码代码如下:[ro

2017-09-22 15:49:07 1418

qq_27169017的博客