- 博客(4)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 MR添加第三方依赖包jar
要想让MR程序引用第三方jar文件, 可以采用如下方式：1、通过命令行参数传递jar文件 -libjars;脚本代码样例：export HADOOP_CLASSPATH="thirdpartlib_1.jar,thirdpartlib_2.jar ..."hadoop jar application.jar \-libjars "thirdpartlib_1.jar,third...
2018-05-23 10:27:53
2394
原创 数据存储优化 (二)：具体优化方式
数据存储优化 (一)：存储格式对比Json、ProtocolBuffer通过上一篇文章的分析发现在大数据的应用中proto在存储方面优于Json。数据都进行压缩，proto约为json的1/3数据源 1、日志由前端SDK收集， 2、格式为Json，Json有多种类型，子节的各异 3、不同版本的SDK，Json类别也不同 4、每天的数据量为1.5T(备份3份)...
2018-05-10 17:49:47
1836
原创 数据存储优化 (一)：存储格式对比Json、ProtocolBuffer
对比Json和ProtocolBuffer 1、JSON因为有一定的格式，并且是以字符存在的，在数据量上还有可以压缩的空间。而ProtocolBuffer上大数据量时，空间比JSON小很多。 2、JSON各个库之间的效率相差比较大，jackson库和GSON就大概有5-10的差距。而GPB只需要一个，没有所谓的多个库的区别。Json样例：{ "DevInfo":{...
2018-05-09 15:28:23
1455
原创 Mysql查看存储过程命令
查询数据库中的存储过程和函数 select `name` from mysql.proc where db = 'xx' and `type` = 'PROCEDURE' //存储过程 select `name` from mysql.proc where db = 'xx' and `type` = 'FUNCTION' //函数 show procedure st...
2018-05-07 10:42:29
6542
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人