weixin_44322234
这个作者很懒,什么都没留下…
展开
-
Eclipse 安装 Hadoop 插件
Eclipse配置本地Hadoop开发环境1、首先下载对应版本的hadoop插件注意:Hadoop插件要跟自己安装的Hadoop版本相对应。链接:https://pan.baidu.com/s/1ffZDzwHf52Efo9ph5DTwcQ提取码:9e1n这里是hadoop2.9.2版本对应的Hadoop插件, 下载文件里面的hadoop-eclipse-plugin-2.9.2.j...原创 2020-04-01 18:03:58 · 1422 阅读 · 1 评论 -
Hadoop实战:小文件合并程序的编写及运行
数据集文件 链接:https://pan.baidu.com/s/15aSG7ITEIoxN7l-R8-bSgA 提取码:u8b41.项目背景在实际项目中,输入数据往往是由许多小文件组成,这里的小文件是指小于HDFS系统Block大小的文件(默认128M), 然而每一个存储在HDFS中的文件、目录和块都映射为一个对象,存储在NameNode服务器内存中,通常占用150个字节。 如果有1千...原创 2020-04-02 16:45:04 · 930 阅读 · 2 评论 -
Hadoop实战:统计相同字母组成的不同单词
1.项目说明一本英文书籍包含成千上万个单词或者短语,现在我们需要在大量的单词中,找出相同字母组成的所有单词。由于这些单词相互之间没有依赖关系,为了加快数据处理的速度,可以借助Hadoop中MapReduce编程模型的特点,快速的编写出并行计算程序,从而实现大量单词的快速分析。所以项目要求通过编写MapReduce代码实现该功能。2.项目示例数据3.项目开发思路及重点分析基于以上需求,我们...原创 2020-04-02 17:26:36 · 3036 阅读 · 0 评论 -
Eclipse下编写MapReduce程序运行并导出jar包上传远程Linux执行运行
0.Eclipse配置本地hadoop环境和安装插件 hadoop-eclipse-plugin-2.9.2.jar 以及配置hadoop环境详见:Eclipse配置本地Hadoop开发环境Eclipse 安装 Hadoop 插件上述准备工作做好后,下面开始编写MapReduce程序并执行以及导出jar包。详细步骤如下:第一步:编写MapReduce程序并执行1...原创 2020-04-01 21:30:12 · 1099 阅读 · 1 评论 -
Eclipse中hadoop map/reduce插件问题
1.安装hadoop-eclipse-plugins.jar将hadoop-eclipse-plugins插件放入eclipse安装目录的plugins文件夹中2.安装好插件后eclipse中preferences无法找到Hadoop Map/Reduce删除eclipse安装目录configuration文件中的org.eclipse.update文件夹,重启eclipse即可。...原创 2020-04-01 16:15:52 · 643 阅读 · 1 评论 -
Eclipse配置本地Hadoop开发环境 解决Hadoop问题---HADOOP_HOME and hadoop.home.dir are unset.
一.问题描述:windows本地调试Hadoop程序时报错错误信息:HADOOP_HOME and hadoop.home.dir are unset. //通过本地搭建hadoop环境解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z //通过下载winutils解决...转载 2020-04-01 16:11:17 · 912 阅读 · 0 评论 -
HDFS文件上传流程详解
HDFS运行流程图 首先用户即客户端想要上传文件,就先要给namenode发个请求,告诉它说我要上传文件了(即写数据),然后namenode会返回一个响应,这个响应是namenode根据自身情况,比如会先查一下namenode里面还能存数据吗?能存多少?有几个datanode能存?(心跳信息)然后返回一个可以存储的节点列表,意思是这些里面能存,但不是能存的datanode全部...转载 2020-03-19 12:30:40 · 1007 阅读 · 0 评论 -
Hadoop问题—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform…
Hadoop问题—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable注:升级glib库解决问题请参加链接:https://blog.csdn.net/l1028386804/article/...转载 2020-03-13 16:19:32 · 184 阅读 · 0 评论 -
用Hive实现wordcount
一、实验内容:用hive实现wordcount二、实验步骤:1.准备数据首先利用vi编辑器,编写一个word.txt文件,内容如下图所示:2.创建测试数据库,命名test,输入如下命令,如图所示create database test;3.在test数据库中创建表wordcountcreate table wordcount(rowdata string);4.加载数据代码如下load data local inpath '/home/hadoop/word.txt' .原创 2020-06-21 11:08:21 · 580 阅读 · 0 评论 -
MapReduce计数器实验
一、实验目的通过实验掌握基本的MapReduce编程方法;掌握用MapReduce解决一些常见的数据处理问题,编写计数器程序。二、实验平台操作系统:Linux(建议CentOS6.5);Hadoop版本:2.9.2;JDK版本:1.8或以上版本;Java IDE:Eclipse;三、实验要求能够理解MapReduce编程思想,然后会编写MapReduce版本计数器程序,并能执行该程序和分析执行过程。四、实验背景1、MapReduce计数器是什么?计数器原创 2020-06-13 22:39:50 · 499 阅读 · 0 评论 -
MapReduce初级编程实践
(一)编程实现文件合并和去重操作任务描述本关任务:编程实现文件合并和去重操作。相关知识为了实现文件的合并去重,我们首先要知道文件中都有些什么,将文件内容进行“拆解”,映射(Map)到不同节点;然后在通过归约(Reduce)去除重复部分。Map过程用法如下:重载map函数,直接将输入中的value复制到输出数据的key上 public static class Map extends Mapper<Object, Text, Text, Text> {}Reduce过程重载原创 2020-06-13 22:31:43 · 10920 阅读 · 0 评论 -
应用Sqoop工具,从MySQL数据库导入记录到HDFS, 从MySQL数据库导入记录到Hive,从HDFS导出数据到MySQL数据库
一、从MySQL数据库导入记录到HDFS1.Mysqls数据库创建数据库sqoop01mysql> create database sqoop01;mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || hive || mysql || sqoop01原创 2020-05-21 22:29:50 · 287 阅读 · 0 评论 -
Mysql,Hive,Sqoop伪分布式安装
环境准备一、Mysql安装1.在线安装 MySQL使用 yum 在线安装 mysql:yum install mysql-server2.查看 mysql 服务状态查看 mysql 状态,使用命令service mysqld status3.启动 mysql 服务启动 mysql 服务 ,使用命令service mysqld start 4.设置 mysql root 用户密码Mysql 刚刚安装完成,默认 root 用户是没有密码的,登录 mysql 设置root 用户.原创 2020-05-21 21:53:30 · 277 阅读 · 0 评论 -
利用JAVA API,编写Java程序,创建一个HBase数据库,创建表,添加记录
利用JAVA API,编写Java程序,创建一个HBase数据库,创建表,添加记录代码如下import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import java.io.IOException; public class ExampleForHbase{ public static Configurat原创 2020-05-19 10:45:15 · 2417 阅读 · 0 评论 -
使用MapReduce操作HBase
1 环境准备1)成功搭建hadoop-2.6.0-cdh5.10.0,hbase-1.2.0-cdh5.10.0开发环境2)成功启动dfs、yarn、zookeeper、master、regionserver,通过HBase Shell进行测试sbin/start-dfs.shsbin/start-yarn.shbin/hbase-daemon.sh start zookeeperbin/hbase-daemon.sh start masterbin/hbase-daemon.sh start原创 2020-05-19 10:39:36 · 822 阅读 · 2 评论 -
Hive启动时出现 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException
产生原因:①由于设置了HA,需要将masternode从standby态变为激活态(active)hdfs haadmin -transitionToActive nn1②dfs和yarn没有开启sbin/start-dfs.shsbin/start-yarn.sh原创 2020-04-28 17:45:04 · 1765 阅读 · 0 评论 -
使用Eclipes,通过Java API 实现本地到远程hadoop的文件上传,下载,创建目录
1、通过远程连接软件(WinSCP)将Linux虚拟机中的hadoop文件下载至本地目录2.使用Eclipes新建一个项目取名UploadFile13、加载相应的jar包4、将hadoop路径下的所有jar包加载进去5、加载完成结果图6.新建一个类[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Sd6bEPvF-1584970453...原创 2020-03-23 21:51:38 · 399 阅读 · 3 评论 -
Hadoop启动权限问题
Hadoop启动权限问题hadop 安装完成后,运行脚本start-all.sh 启动hadoop 伪分布式集群,出现以下问题一开始以为是免密登录没有成功,删除.ssh文件后,在配置一遍免密登录依然出现这个问题,随后看了错误信息,初步怀疑是hadoop 里面的logs文件无法打开,后面又提示了权限的问题,在次确认是hadoop里面的logs文件权限问题。显示logs所属的组和用户为roo...原创 2020-03-18 12:03:29 · 3147 阅读 · 4 评论