- 博客(2)
- 收藏
- 关注
RSS订阅原创 ClouderaManager搭建Spark on yarn（spark 2.x）集群最详尽版
0、组网（实验室资源有限，只能在同学电脑上安装虚拟机组）。（1）买千兆以上路由器+六类以上网线+每台机器两块千兆网卡+4台物理机。（2）用路由器连接集群机器，配置ip，路由器wan端，即后面配置机器时候的网关ip。（我个人配置成了10.10.10.1）（3）配置物理机网络。我是用的vmware虚拟机作为节点的，就以这样为例，先设置了物理机系统ip分别为10.10.10.10，10.10...
2019-03-19 22:13:08
1830
原创 hadoop自定义inputformat,inputsplit,recordReader注意问题
1、map输入输出reduce输入输出类型必须可序列化，实现Writable接口。自定义的inputSplit也必须实现Writable接口，其中重写write(Dataoutput out),readRecord(Datainput in)方法时特别注意，对类属性进行io时，读取(write)与写入(readFields)的顺序一致，并且对于hadoop定义的各种Writable数据类型io时，...
2018-07-12 11:26:14
644
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人