hadoop学习过程
文章平均质量分 67
花言简
这个作者很懒,什么都没留下…
展开
-
hive udf自定义函数编写
idea maven自定义hive udf函数原创 2022-06-09 11:03:20 · 737 阅读 · 0 评论 -
关于mapreduce中context.write同一对象不同值是否会覆盖问题的了解
在写mapreduce代码时,有时context.write()同一对象(对象的值会改变),会造成覆盖的问题吗?我们了解ArrayList在内存中,对象也在内存中,ArrayList存储的是对对象地址的引用,不停更改值后add到ArrayList中,那么所有的值都被覆盖,因为地址都是同一个。但context.write()同一对象(值不同)时,不会出现这种情况,因为它直接被序列化存储了,不会被覆盖...原创 2018-06-09 17:01:24 · 1479 阅读 · 0 评论 -
mapreduce的编程模型
mapreduce编程模型核心为将数据运算流程分为两个阶段: 拆分,读取原始数据,形成key-value数据(map方法); 聚合,将相同key的数据聚合到一组(reduce方法)。maptask: 读数据:读取原始数据,形成key-value数据; 通过Mapper类的map方法对数据进行处理; 排序:将数据按照key.compareTo()方法进行排序; 分...原创 2018-05-29 22:21:11 · 3776 阅读 · 0 评论 -
org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
最近在练习mapreduce编程代码,在使用Windows本地测试时,报错:Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z网上找了好些解决方式,大多都说的缺少hadoop.dl...原创 2018-05-17 14:54:07 · 713 阅读 · 0 评论 -
hdfs的简单Java客户端访问
1、下载解压hadoop 个人使用的是hadoop-2.9.0版本,官网下载,并解压; 配置环境变量HADOOP_HOME,%HADOOP_HOME%\bin 添加至Path中; 打开cmd,输入hadoop,会出现hadoop的命令使用帮助情况:安装成功;2、idea下创建Java项目file-->New--> Project-->Java,jdk设置一直点击...原创 2018-05-09 16:44:41 · 1310 阅读 · 0 评论 -
四、hdfs命令简单使用和mapreduce例子测试
1、hdfs使用$ hdfs dfs -ls / # 查看hdfs文件系统中根目录$ hdfs dfs -mkdir /wc/input # 在根目录下创建一个目录wc # 上传文件到hdfs文件系统中$ hadoop fs /usr/local/hadoop-2.9.0/etc/hadoop/*.xml /wc/input2、mapreduce例子运行运行测试例子:$ cd /usr/l...原创 2018-05-02 23:57:46 · 892 阅读 · 0 评论 -
一、hadoop2.x版本的集群安装
个人安装的是centos6.5,hadoop2.9.0。准备两台虚拟机,一台作为主节点master,一台作为从节点slave1。1、关闭防火墙,禁用selinux#service iptables status # 查看防火墙状态# service iptables stope # 若开启,则关闭# vim /etc/sysconfig/selin...原创 2018-04-28 10:37:59 · 446 阅读 · 0 评论 -
二、执行sbin/start-dfs.sh后,datenode没有启动
可能hadoop没有正常关闭,然后电脑虚拟机挂起了,重新启动时,发现datanode没有启动;查看datanode的日志:报错说,namenode clusterID和datanode clusterID不相容。主节点和从节点(个人只安装了一个从节点)的hadoop安装目录下,$ vim etc/hadoop/hdfs-site.xml查看namenode和datanode的目录:主节点和从节点分...原创 2018-04-28 15:25:33 · 4531 阅读 · 0 评论 -
三、Unable to load native-hadoop library for your platform... using builtin-java classes where appl...
hadoop安装完成后,找些教程想看看hdfs命令使用,发现不管用什么老报下面这个警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable。1、查看日志信息,找寻报错原因;...原创 2018-05-02 16:14:45 · 43689 阅读 · 2 评论