sbt更新编译

从sbt0.13 换到1.2.3的艰辛路程 sbt sbt assembly github sbt编译Spark App依赖问题 使用SBT构建Scala应用 sbt(simple build tool)与maven一样用于编译之类的 sbt-assembly则是一个插件,说可以加依赖打进jar包...

2019-01-07 17:39:09

阅读数:6

评论数:0

gitlab项目迁移

修改本地配置,push到新地址 gitlab project项目迁移 git remote -v git remote set-url origin git@git.bbb.net:360-fyd/fang.git git remote -v git branch -a git push orig...

2019-01-07 17:18:10

阅读数:9

评论数:0

mac编译hadoop,spark

hadoop 编译前提 安装java,maven,jdk,ProtocolBuffer,cmake,openssl 从git上clone hadoop 源码 protocolbuffer安装2.5.0 protocolbuffer下载 ./configure make sudo make ins...

2018-10-17 14:44:44

阅读数:61

评论数:0

yarn下的mapreduce内存问题

参考 ERROR:is running beyond physical memory limits. Tuning yarn Yarn下Mapreduce的内存参数理解 Yarn下Mapreduce的内存参数理解&xml参数配置 前因 使用Hadoop的streming....

2018-10-15 16:16:32

阅读数:21

评论数:0

parquet

参考 内部know Parquet vs ORC 大数据开源列式存储引擎Parquet和ORC 新型列式存储格式 Parquet 详解 读写parquet格式文件的几种方式 Parquet file optional field does not exist parquet 列存 列存使用场景:数...

2018-10-11 17:19:19

阅读数:85

评论数:0

jar资源文件处理方式

参考 主题:【解惑】深入jar包:从jar包中读取资源文件 java读取jar包中的文件 总结 读取资源文件 问题描述:资源文件在单独运行的时候没有问题。但是把代码打成一个jar包以后,即使将资源文件一并打包,这些东西也找不出来了。 public static void getResourcef...

2018-10-10 17:47:05

阅读数:65

评论数:0

kafka 使用python消费consumer

参考 https://www.jianshu.com/p/ede62642a438 http://shartoo.github.io/kafkaquestion/ http://www.cnblogs.com/AcAc-t/p/kafka_topic_consumer_group_comma...

2018-09-13 19:58:03

阅读数:329

评论数:0

Jenkins简单使用

Jenkins Jenkins是一款开源的持续集成工具,广泛用于项目开发,具有自动化构建、测试和部署等功能 其本身主要负责自动化的 代码编译, 打包, 测试, 组装;向上要与代码管理工具(如gitlab)/配置管理工具进行交互;向下要与服务器管理工具/容器(docker)/服务器(物理机, a...

2018-09-12 14:48:20

阅读数:215

评论数:0

linux 多版本的python对应 easy-install pip

参考 easy_install和pip区别 easy_install的安装与使用 windows python2.7下 安装 pip 安装 # wget https://bootstrap.pypa.io/ez_setup.py # python2.7 ez_setup.py #...

2018-09-06 18:28:10

阅读数:70

评论数:0

MapReduce读文件

参考 读文件 在Driver中读本地 在map或reduce中读hdfs Streaming中的-file

2018-08-09 16:45:30

阅读数:389

评论数:0

java 静态

主要思想 主要为了标记下java关于静态变量,静态方法,静态块,静态嵌套类,内部类之间的关系 参考 Java 静态类、静态方法和静态变量 http://hongyubox.com/2016/08/05/Java%20%E9%9D%99%E6%80%81%E7%B1%BB%E3%80%81...

2018-08-06 17:12:44

阅读数:35

评论数:0

Mapreduce多种输入

是mapreduce中的一种类型,记录下 主要使用了MultipleInputs类,允许对不同的输入路径指定InputFormat和Mapper, 对reduce并没有什么影响 //job.setMapperClass(Mapper.class); 就不要了 MultipleInputs...

2018-07-19 16:27:39

阅读数:26

评论数:0

MapReduce学习写测试

参考 Effective Testing Strategies for MapReduce Applications:https://stackoverflow.com/questions/27136752/powermock-throws-nosuchmethoderror-setmockna...

2018-07-06 18:34:45

阅读数:304

评论数:0

json 方式

json讲解 https://www.w3cschool.cn/json/8kjw1pl0.html json三种方式 https://www.oudahe.com/p/11923/ fastjson解析map类型 https://blog.csdn.net/wenxingchen/ar...

2018-06-26 14:49:53

阅读数:58

评论数:0

Hbase使用简要分析

参考 https://blog.csdn.net/u014419512/article/details/27966957 https://www.jianshu.com/p/0f9578df7fbc https://www.cnblogs.com/raphael5200/p/5229164...

2018-05-29 16:53:05

阅读数:108

评论数:0

shell并行执行程序

参考 https://www.linuxidc.com/Linux/2011-03/33918.htm http://www.sohu.com/a/161607089_610671 https://blog.csdn.net/yeweiouyang/article/details/52512...

2018-05-03 15:13:39

阅读数:784

评论数:0

flink简单使用

参考 https://flink.apache.org/ https://www.jianshu.com/p/2ee7134d7373 https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/ https://...

2018-04-25 19:25:06

阅读数:433

评论数:0

oozie简单使用

来自 http://shiyanjun.cn/archives/684.html https://www.cnblogs.com/cenzhongman/p/7229387.html?yyue=a21bo.50862.201879 https://www.cnblogs.com/xing90...

2018-04-19 13:50:59

阅读数:402

评论数:0

sbt添加依赖

参考 https://www.scala-sbt.org/1.x/docs/zh-cn/Library-Dependencies.html 有两种方式 非托管依赖:放在lib目录下的jar包 托管依赖:配置在构建定义中,并且会自动从仓库中下载 非托管依赖 将jar包放在lib文件...

2018-04-10 20:53:32

阅读数:1353

评论数:0

spark读取当前处理数据的文件名

参考 http://hanyingjun318.iteye.com/blog/2277512 环境 idea;sbt; hadoop 在hadoop中读取文件名 InputSplit inputSplit=(InputSplit)context.getInputSplit...

2018-04-09 18:24:05

阅读数:1346

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭