排序:
默认
按更新时间
按访问量

MapReduce读文件

参考 读文件 在Driver中读本地 在map或reduce中读hdfs Streaming中的-file

2018-08-09 16:45:30

阅读数:7

评论数:0

java 静态

主要思想 主要为了标记下java关于静态变量,静态方法,静态块,静态嵌套类,内部类之间的关系 参考 Java 静态类、静态方法和静态变量 http://hongyubox.com/2016/08/05/Java%20%E9%9D%99%E6%80%81%E7%B1%BB%E3%80%81...

2018-08-06 17:12:44

阅读数:2

评论数:0

Mapreduce多种输入

是mapreduce中的一种类型,记录下 主要使用了MultipleInputs类,允许对不同的输入路径指定InputFormat和Mapper, 对reduce并没有什么影响 //job.setMapperClass(Mapper.class); 就不要了 MultipleInputs...

2018-07-19 16:27:39

阅读数:13

评论数:0

MapReduce学习写测试

参考 Effective Testing Strategies for MapReduce Applications:https://stackoverflow.com/questions/27136752/powermock-throws-nosuchmethoderror-setmockna...

2018-07-06 18:34:45

阅读数:209

评论数:0

json 方式

json讲解 https://www.w3cschool.cn/json/8kjw1pl0.html json三种方式 https://www.oudahe.com/p/11923/ fastjson解析map类型 https://blog.csdn.net/wenxingchen/ar...

2018-06-26 14:49:53

阅读数:26

评论数:0

Hbase使用简要分析

参考 https://blog.csdn.net/u014419512/article/details/27966957 https://www.jianshu.com/p/0f9578df7fbc https://www.cnblogs.com/raphael5200/p/5229164...

2018-05-29 16:53:05

阅读数:45

评论数:0

shell并行执行程序

参考 https://www.linuxidc.com/Linux/2011-03/33918.htm http://www.sohu.com/a/161607089_610671 https://blog.csdn.net/yeweiouyang/article/details/52512...

2018-05-03 15:13:39

阅读数:84

评论数:0

flink简单使用

参考 https://flink.apache.org/ https://www.jianshu.com/p/2ee7134d7373 https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/ https://...

2018-04-25 19:25:06

阅读数:94

评论数:0

oozie简单使用

来自 http://shiyanjun.cn/archives/684.html https://www.cnblogs.com/cenzhongman/p/7229387.html?yyue=a21bo.50862.201879 https://www.cnblogs.com/xing90...

2018-04-19 13:50:59

阅读数:126

评论数:0

sbt添加依赖

参考 https://www.scala-sbt.org/1.x/docs/zh-cn/Library-Dependencies.html 有两种方式 非托管依赖:放在lib目录下的jar包 托管依赖:配置在构建定义中,并且会自动从仓库中下载 非托管依赖 将jar包放在lib文件...

2018-04-10 20:53:32

阅读数:115

评论数:0

spark读取当前处理数据的文件名

参考 http://hanyingjun318.iteye.com/blog/2277512 环境 idea;sbt; hadoop 在hadoop中读取文件名 InputSplit inputSplit=(InputSplit)context.getInputSplit...

2018-04-09 18:24:05

阅读数:443

评论数:0

字符编码

根据以下链接中的内容总结而成https://zhuanlan.zhihu.com/p/25435644http://cenalulu.github.io/linux/character-encoding/http://www.ruanyifeng.com/blog/2007/10/ascii_un...

2018-04-02 18:45:14

阅读数:38

评论数:0

回调函数

回调函数是在调用某个函数(通常是API函数)时,将自己的一个函数(这个函数为回调函数)的地址(函数指针)作为参数传递给那个函数。而那个函数在需要的时候,利用传递的地址调用回调函数,这时你可以利用这个机会在回调函数(自己写的这个函数)中处理消息或完成一定的操作。  回调函数就像一个中断处理函数,系统...

2016-07-28 10:50:25

阅读数:209

评论数:0

eclipse下新建hadoop项目

此次介绍有关在eclipse当中进行文件操作及wordcount的运行 按照我写的顺序进行讲述 新建Map/Reduce Project项目WordCountDemo 新建类WordCountDemo,包为org.hadoop.examples 将hadoop源码中的wordcount粘贴...

2016-07-26 13:02:34

阅读数:631

评论数:0

windows下eclipse连接hadoop

首先介绍配置环境 linux版本 CentOS release 6.7 64位 一个master,若干slave windows版本 win7 32位 hadoop 2.6.0版本 1 安装插件hadoop-eclipse-plugin-2.6.0.jar,下载后放到ecl...

2016-07-26 12:18:12

阅读数:299

评论数:0

动态规划

使用Dynamic Programming 的条件 1)优化子结构:一个问题的优化解包含子问题的优化解 2)重叠子问题:在问题的求解过程中,很多子问题被多次使用 算法设计步骤 *分析优化解的结构:划分子问题、优化子结构、子问题重叠性 *建立优化解的代价递归方程 ...

2016-07-07 16:42:41

阅读数:210

评论数:0

文件系统

块管理 文件的物理结构指文件在存储设备上的存取方式。块管理用于记录存储块和文件的关联关系,对于随机存储设备而言,一般有如下三种方法实现块管理。 a.连续分配 b.链接表 c.索引链式表 存储空间管理 对存储介质上未使用空间的管理,当创建文件、写入文件或删除文件时,都涉及存储空间的管理。...

2016-06-24 22:12:14

阅读数:290

评论数:0

硬链接与软链接

文件有文件名与数据,在linux中被分成用户数据(user data)和元数据(metadata)。用户数据即文件数据块,记录文件真实内容的地方,元数据是文件的附加属性,如文件大小、创建时间、所有者等信息。系统或程序通过inode号寻找正确的文件数据块。 在linux系统中查看inode可以使用...

2016-04-26 21:18:17

阅读数:233

评论数:0

有关字符串编程

给定一个query和一个text,均由小写字母组成。要求在text中找出以同样的顺序连续出现在query中的最长连续字母序列的长度。例如,query为 “acbac”,text为”acaccbabb”,那么text中的”cba”为最长的连续出现在query中的字母序列,因此,返回结果应该为其长度3...

2016-04-19 21:51:47

阅读数:191

评论数:0

有关scanf的输入格式不正确之说

int main() { // your code goes here int a; scanf("%d",&a); printf("%d\n",a); } 然后输入’...

2016-04-12 09:59:43

阅读数:823

评论数:2

提示
确定要删除当前文章?
取消 删除
关闭
关闭