- 博客(4)
- 收藏
- 关注
RSS订阅原创 hadoop自定义序列化
文章目录hadoop自定义序列化Hadoop序列化对比Java序列化注意条件自定义序列化类MapperReducerDirver hadoop自定义序列化 在实现复杂数据进行处理的时候，hadoop自带的序列化参数不够，此时需要自己来定义序列化类信息 Hadoop序列化对比Java hadoop序列化相比Java序列化占用空间更小更加紧凑 对象可以重用 通过 writer 和 readField...
2019-11-07 14:00:17
175
原创 hadoop window环境 Java运行切片失败
注意 1.将hadoop的bin文件下的hadoop.dll文件拷贝到c:\windows\system32目录下 2.修改etc/bin下cmd中的java环境信息 3.在系统环境变量中配置好HADOOP_HOME的地址 4.保证自己hadoop/bin里面的文件是在github上下载对应版本的编译文件 windows环境编译文件下载地址 https://github.com/stevelo...
2019-11-07 11:19:41
119
原创 自定义InputFormat
文章目录自定义InputFormat小文件处理方式有代码DiyInputFormatDiyRecordReaderDiyMapperDiyDriver 自定义InputFormat 自定义的InputFormat永来将小文件拼接成一个大文件，其中小文件的大小长度要小于 Integer.MAX 的大小，因为在网上学习到的例子文件读写的游标值类型为int类型，所以有限制 小文件处理方式有 hadoop...
2019-11-07 11:08:45
205
原创 springboot项目使用druid monitor方法
springboot项目使用druid monitor方法 首先在maven中添加jar包依赖 <!-- https://mvnrepository.com/artifact/com.alibaba/druid-spring-boot-starter --> <dependency> <groupId>com.alibaba</groupId>...
2019-05-08 10:09:05
2117
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人