hadoop
文章平均质量分 63
Mr Gao
一个爱好分享的编程学习者,关于博客有不懂的可以留言,基本看到就会回复,最后,希望我的博客可以帮助你们解决一些问题,
展开
-
Centos7 从零开始搭建 hive(含hive测试-数据导入与安装包)
Centos7 从零开始搭建 hive博主这两天搭建了Centos,所以写个教程帮助大家去搭建hive数据仓库的环境。对于hive,其实搭建的时候我们需要有一些认识hive本质上是一个“集成数据库”,它是由很多数据库组成的。hive 需要由hadoop环境支持。hadoop是由java编写的,所以,事实上很多运行在hadoop环境中的软件都是需要java编写的接口的。那么开始搭建,搭建hive一共分为如下几步1.安装vmware2.安装centos系统3.在centos上安装hadoo原创 2021-06-22 11:18:46 · 3912 阅读 · 5 评论 -
centos 或 ubuntu虚拟机与windows通过Xshell进行文件互传
centos 或 ubuntu虚拟机与windows通过Xshell进行文件互传这里以centos进行示例,在进行这一步之前,首先,你需要完成以下几步1.下载xshell(第五版或第六版),安装xshell2.下载vmware15或16安装包, 安装vmware3.下载centos7(最好)安装包,并安装好然后你会有下面的图形显示即打开虚拟机,并通过xshell连接虚拟机之后再xshell用root权限登录。然后,可以调到一个你指定的安装包目录,输入rz -E指令,之后即可选择文件夹原创 2021-06-21 10:20:51 · 580 阅读 · 0 评论 -
大数据处理-mapreduce 代码入门实例-多表连接、对单词排序、对数据过滤、统计单词数量并排序、分区统计等
多表连接思路为,通过map阶段将数据按<key,value>进行map,key为id,则shuffle阶段会自动进行组合,但同时对两个表的内容进行标记,进行笛卡尔积时可以进行区分。代码如下package org.apache.hadoop.examples; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWr.原创 2020-12-15 17:03:54 · 2701 阅读 · 4 评论 -
linux安装python3
linux安装python31.下载python3 (可以到官方先看最新版本多少)输入命令cd /usr/soft wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz配置一下开发环境yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-deve原创 2020-10-11 09:16:28 · 239 阅读 · 0 评论 -
mapreduce程序打包成jar在集群上运行
mapreduce程序打包成jar在集群上运行1.导出2、选择导出类型为jar文件3、选择需要打包的文件,并不需要将所有的文件都打包,这样可以减小jar文件的大小。并且可以选择导出jar包的一些信息*Export generated class files and resources 表示只导出生成的.class文件和其他资源文件;*Export all output folders for checked projects 表示导出选中项目的所有文件夹;Export java sourc原创 2020-10-10 18:38:39 · 1477 阅读 · 2 评论 -
centos 安装 scala和 spark 并进行测试
centos 安装 scala和 spark今天我们来讲一下,centos 安装scala 和spark,这篇博客接着上面四篇博客,感兴趣的,可以看看我前面几篇博客,那是关于hadoop 下对接eclipse 运行mapreduce 程序的操作。首先下载两个安装包在我给的下面这个网盘链接下载链接:https://pan.baidu.com/s/1RwI9FK-C1RzClQxwxj95Wg提取码:jslz下载开头为spark 和sbt的两个文件下载好之后放在centos 的 /us原创 2020-10-07 20:20:01 · 362 阅读 · 0 评论 -
centos7安装hadoop,配置eclipse和hdfs文件系统接口-运行案例测试
centos7安装hadoop,配置eclipse和hdfs文件系统接口-运行案例测试之前已经写了三篇博客,这一篇是最后的一步,也是最重要的一步,今天来讲一下eclipse 对接hadoop在看这篇博客之前请先阅读之前三篇博客这里hadoop,eclipse,jdk都已经安装好安装 Hadoop-Eclipse-Plugin首先我们需要下载 Hadoop-Eclipse-Plugin,这里可以去官网下载,下载 Github 上的 https://github.com/winghc/hadoo原创 2020-10-01 17:42:04 · 1163 阅读 · 0 评论 -
centos 7 hadoop mapreduce程序运行 -eclipse安装
centos 7 下 安装 eclipse之前博主已经写过了两篇博客,分别是配置,jdk,hadoop,和hdfs 文件系统上传文件,下面,我们就是配置eclipse 集成开发环境,进行mapreduce 程序的编写配置java jdk 这个博主之前已经写过 可以看这片博客https://blog.csdn.net/weixin_43327597/article/details/108834870下载eclipse 安装包我们将ecplise 安装包下载在/opt 文件下在终端环境原创 2020-09-29 21:21:50 · 832 阅读 · 1 评论 -
hadoop -mapreduce wordcount 案例 - hdfs 文件的上传
hadoop -mapreduce wordcount 案例 - hdfs 文件的上传上一篇博客,写的jdk的搭建和hadoop单节点的安装 ,后面将写mapreduce 在hadoop中的应用,这里先准备一下数据,将数据上传到hdfs文件系统中首先,我们先在home文件夹下,创建一个文件夹,存储我们的数据cd /homemkdir data然后闯将一个文件,用于wordcount测试touch wordcount.txt然后在问价加下写入以下内容,将用于测试hel原创 2020-09-28 17:05:36 · 910 阅读 · 0 评论 -
jdk配置与hadoop2.6.0单节点搭建
jdk配置与hadoop2.6.0单节点搭建首先设置域名映射/etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.160.3 lsn-linux #前两行不用改,最后一行,加一个本机ip和用户名映原创 2020-09-27 20:06:35 · 636 阅读 · 0 评论 -
hadoop-Mapreduce实例WordCoun
Mapreduce实例——WordCount实验目的1.准确理解Mapreduce的设计原理2.熟练掌握WordCount程序代码编写3.学会自己编写WordCount程序进行词频统计实验原理MapReduce采用的是“分而治之”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个从节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单来说,MapReduce就是”任务的分解与结果的汇总“。1.MapReduce的工作原理在分布式计算中,MapReduce框原创 2020-06-02 11:45:47 · 796 阅读 · 0 评论 -
hadoop平台-Hbase安装
hadoop平台-Hbase安装1.下载hbase安装包.首先在Linux本地,新建/data/hbase1目录,用于存放所需文件。mkdir -p /data/hbase1 切换目录并下载安装包cd /data/hbase1 wget http://192.168.1.100:60000/allfiles/hbase1/hbase-1.0.0-cdh5.4.5.tar.gz 2.将/data/hbase1目录下,HBase的安装包hbase-1.0.0-cdh5.4.5.tar.原创 2020-05-12 10:40:57 · 416 阅读 · 0 评论 -
linux配置javaJDK
linux配置JDKlinux配置JDK步骤相对比较简单第一步需要下载JDK,可以直接到官网下载添加链接描述下载到本地后,需要解压tar -xzvf jdk-8u171-linux-x64.tar.gz然后可以移动解压后的文件,也可以不移动mv jdk1.8.0_171/ ~/file_path…即为移动的文件夹位置,注意上诉操作是在jdk所在文件下操作的,如果不在,需要加上路径...原创 2020-04-07 11:58:46 · 148 阅读 · 0 评论