- 博客(4)
- 收藏
- 关注
RSS订阅原创 mac编译hadoop,spark
hadoop编译前提安装java，maven，jdk，ProtocolBuffer，cmake，openssl从git上clone hadoop 源码protocolbuffer安装2.5.0protocolbuffer下载./configure makesudo make installprotoc —version #测试卸载在终端执行which protoc注：...
2018-10-17 14:44:44
327
转载 yarn下的mapreduce内存问题
参考ERROR:is running beyond physical memory limits. Tuning yarnYarn下Mapreduce的内存参数理解Yarn下Mapreduce的内存参数理解&xml参数配置前因使用Hadoop的streming.jar遇到问题问题1:18/10/13 19:40:56 INFO input.FileInputFormat: ...
2018-10-15 16:16:32
789
转载 parquet
参考内部know Parquet vs ORC大数据开源列式存储引擎Parquet和ORC新型列式存储格式 Parquet 详解读写parquet格式文件的几种方式Parquet file optional field does not existparquet列存列存使用场景：数据列很多，且每次操作仅针对若干列的情景parquet数据存储schema描述存储结构有group...
2018-10-11 17:19:19
959
转载 jar资源文件处理方式
参考 主题：【解惑】深入jar包：从jar包中读取资源文件java读取jar包中的文件总结读取资源文件问题描述：资源文件在单独运行的时候没有问题。但是把代码打成一个jar包以后，即使将资源文件一并打包，这些东西也找不出来了。public static void getResourcefile() throws IOException { prop= new Properties...
2018-10-10 17:47:05
3107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人