排序:
默认
按更新时间
按访问量

mac编译hadoop,spark

hadoop 编译前提 安装java,maven,jdk,ProtocolBuffer,cmake,openssl 从git上clone hadoop 源码 protocolbuffer安装2.5.0 protocolbuffer下载 ./configure make sudo make ins...

2018-10-17 14:44:44

阅读数:25

评论数:0

yarn下的mapreduce内存问题

参考 ERROR:is running beyond physical memory limits. Tuning yarn Yarn下Mapreduce的内存参数理解 Yarn下Mapreduce的内存参数理解&xml参数配置 前因 使用Hadoop的streming....

2018-10-15 16:16:32

阅读数:2

评论数:0

parquet

参考 内部know Parquet vs ORC 大数据开源列式存储引擎Parquet和ORC 新型列式存储格式 Parquet 详解 读写parquet格式文件的几种方式 Parquet file optional field does not exist parquet 列存 列存使用场景:数...

2018-10-11 17:19:19

阅读数:10

评论数:0

jar资源文件处理方式

参考 主题:【解惑】深入jar包:从jar包中读取资源文件 java读取jar包中的文件 总结 读取资源文件 问题描述:资源文件在单独运行的时候没有问题。但是把代码打成一个jar包以后,即使将资源文件一并打包,这些东西也找不出来了。 public static void getResourcef...

2018-10-10 17:47:05

阅读数:25

评论数:0

kafka 使用python消费consumer

参考 https://www.jianshu.com/p/ede62642a438 http://shartoo.github.io/kafkaquestion/ http://www.cnblogs.com/AcAc-t/p/kafka_topic_consumer_group_comma...

2018-09-13 19:58:03

阅读数:104

评论数:0

Jenkins简单使用

Jenkins Jenkins是一款开源的持续集成工具,广泛用于项目开发,具有自动化构建、测试和部署等功能 其本身主要负责自动化的 代码编译, 打包, 测试, 组装;向上要与代码管理工具(如gitlab)/配置管理工具进行交互;向下要与服务器管理工具/容器(docker)/服务器(物理机, a...

2018-09-12 14:48:20

阅读数:38

评论数:0

linux 多版本的python对应 easy-install pip

参考 easy_install和pip区别 easy_install的安装与使用 windows python2.7下 安装 pip 安装 # wget https://bootstrap.pypa.io/ez_setup.py # python2.7 ez_setup.py #...

2018-09-06 18:28:10

阅读数:22

评论数:0

MapReduce读文件

参考 读文件 在Driver中读本地 在map或reduce中读hdfs Streaming中的-file

2018-08-09 16:45:30

阅读数:110

评论数:0

java 静态

主要思想 主要为了标记下java关于静态变量,静态方法,静态块,静态嵌套类,内部类之间的关系 参考 Java 静态类、静态方法和静态变量 http://hongyubox.com/2016/08/05/Java%20%E9%9D%99%E6%80%81%E7%B1%BB%E3%80%81...

2018-08-06 17:12:44

阅读数:16

评论数:0

Mapreduce多种输入

是mapreduce中的一种类型,记录下 主要使用了MultipleInputs类,允许对不同的输入路径指定InputFormat和Mapper, 对reduce并没有什么影响 //job.setMapperClass(Mapper.class); 就不要了 MultipleInputs...

2018-07-19 16:27:39

阅读数:22

评论数:0

MapReduce学习写测试

参考 Effective Testing Strategies for MapReduce Applications:https://stackoverflow.com/questions/27136752/powermock-throws-nosuchmethoderror-setmockna...

2018-07-06 18:34:45

阅读数:255

评论数:0

json 方式

json讲解 https://www.w3cschool.cn/json/8kjw1pl0.html json三种方式 https://www.oudahe.com/p/11923/ fastjson解析map类型 https://blog.csdn.net/wenxingchen/ar...

2018-06-26 14:49:53

阅读数:36

评论数:0

Hbase使用简要分析

参考 https://blog.csdn.net/u014419512/article/details/27966957 https://www.jianshu.com/p/0f9578df7fbc https://www.cnblogs.com/raphael5200/p/5229164...

2018-05-29 16:53:05

阅读数:80

评论数:0

shell并行执行程序

参考 https://www.linuxidc.com/Linux/2011-03/33918.htm http://www.sohu.com/a/161607089_610671 https://blog.csdn.net/yeweiouyang/article/details/52512...

2018-05-03 15:13:39

阅读数:307

评论数:0

flink简单使用

参考 https://flink.apache.org/ https://www.jianshu.com/p/2ee7134d7373 https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/ https://...

2018-04-25 19:25:06

阅读数:145

评论数:0

oozie简单使用

来自 http://shiyanjun.cn/archives/684.html https://www.cnblogs.com/cenzhongman/p/7229387.html?yyue=a21bo.50862.201879 https://www.cnblogs.com/xing90...

2018-04-19 13:50:59

阅读数:209

评论数:0

sbt添加依赖

参考 https://www.scala-sbt.org/1.x/docs/zh-cn/Library-Dependencies.html 有两种方式 非托管依赖:放在lib目录下的jar包 托管依赖:配置在构建定义中,并且会自动从仓库中下载 非托管依赖 将jar包放在lib文件...

2018-04-10 20:53:32

阅读数:485

评论数:0

spark读取当前处理数据的文件名

参考 http://hanyingjun318.iteye.com/blog/2277512 环境 idea;sbt; hadoop 在hadoop中读取文件名 InputSplit inputSplit=(InputSplit)context.getInputSplit...

2018-04-09 18:24:05

阅读数:729

评论数:0

字符编码

根据以下链接中的内容总结而成https://zhuanlan.zhihu.com/p/25435644http://cenalulu.github.io/linux/character-encoding/http://www.ruanyifeng.com/blog/2007/10/ascii_un...

2018-04-02 18:45:14

阅读数:52

评论数:0

回调函数

回调函数是在调用某个函数(通常是API函数)时,将自己的一个函数(这个函数为回调函数)的地址(函数指针)作为参数传递给那个函数。而那个函数在需要的时候,利用传递的地址调用回调函数,这时你可以利用这个机会在回调函数(自己写的这个函数)中处理消息或完成一定的操作。  回调函数就像一个中断处理函数,系统...

2016-07-28 10:50:25

阅读数:218

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭