大数据学习
吟咏十
这个作者很懒,什么都没留下…
展开
-
hadoop对象序列化与反序列化
基本序列化类型往往不能满足所有需求,比如在Hadoop框架内部传递一个自定义bean对象,那么该对象就需要实现Writable序列化接口。因为我们在排序时调用Comparble函数时把相同大小数据归为一类key导致数据重叠。注意Reducer类的kv类型一定要与Mapper类对齐。在序列化对象调用Comparble函数。同时Reuducer类也进行相应改变。所以需用迭代器value区别值。序列化Writable接口。本函数顺序是由大到小。原创 2024-05-02 10:54:26 · 322 阅读 · 4 评论 -
hdfs客户端Api上传下载查看文件信息
代码设置的值>用户自定义配置文件>服务器默认配置。通过对代码的运行进行验证是否是正确的。其中我们可以通过代码修改副本参数。原创 2024-04-07 11:44:10 · 205 阅读 · 0 评论 -
hdfs-client 客户端连接
在pom.xml中导入相关依赖包:hadoop_hdfs,hadoop_common,hadoop_client。在resources中创建log4j.properties文件控制日志数量。在maven resporitry官网。切记:本地目录不能带中文名字会出错。4.在idle创建maven项目。在web_url中验证是否创建。给hdfs目录所有权限可读可写。也可以导入相关日志管理。在项目中创建Java。原创 2024-04-04 15:32:00 · 594 阅读 · 1 评论