![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 72
GYT0313
邮箱:guyongtao@qq.com
展开
-
Hadoop搭建之VirtualBox+Redhat访问外网、远程登录、文件传输
1. 准备工具VirtualBoxRedhat-6.6(其他版本也可以)2. VirtualBox设置在设置里为Redhat添加两个网卡:网卡的连接方式分别为:网卡1-NAT -->虚拟机借助主机能够访问网络网卡2-桥接 --&a原创 2018-09-18 16:43:33 · 978 阅读 · 0 评论 -
非常详细、全面的大数据组件安装及IDEA开发环境搭建 - 搭建虚拟机集群 -包括Hadoop、HBase、Zookeeper、Spark、Kafka、Flume、IDEA
前言文章很长很长,建议配合右边的目录。。。博主在学习大数据过程中也写过各种组件的安装步骤,但是比较零散。最近,在学习Spark Streaming中需要开启很多大数据服务,笔记本搭建虚拟机的集群已经带不动程序。正好,学校配了台高配的主机,所以决定从头开始搭建大数据的集群。并且记录完整、详细的安装过程。注:学习大数据希望你的电脑配置不要太低,如果太低连虚拟机都运行不起来。如果配置不算高,能够...原创 2019-05-13 11:50:34 · 2203 阅读 · 0 评论 -
协同过滤算法基于用户--使用MapReduce框架实现为用户推荐电影
package com.gyt.collaborativeFiltering;import java.io.BufferedReader;import java.io.File;import java.io.FileOutputStream;import java.io.FileReader;import java.io.IOException;import java....原创 2018-12-20 20:25:01 · 2677 阅读 · 3 评论 -
JavaWeb-文件上传下载-可基于文件内容查询文件(MySQL+Servlet+Hadoop)
hdfs dfs -mkdir -p /data/fileSmartUploadhdfs dfs -mkdir -p /output/原创 2018-12-13 21:44:02 · 1325 阅读 · 2 评论 -
Ubuntu配置Eclipse + Hadoop环境
Hadoop伪分布搭建:Hadoop集群搭建:本次环境为Hadoop集群。1. 官网下载linux版eclipse官网:https://www.eclipse.org/downloads/packages/安装Hadoop-Eclipse-Plugin插件:2. 配置2.1解压Eclipse:tar -zxvf eclipse-committers-2018-09-linux-gt...原创 2018-10-26 11:19:46 · 822 阅读 · 0 评论 -
几个小程序巩固、练习 MapRedcue 框架基础
1. wordcount词频统计2. 文字去重3. 统计成绩平均数4. 单表关联5. IP地址来源统计原创 2018-11-27 12:13:19 · 231 阅读 · 0 评论 -
安装HBase--单节点、伪分布式、完全分布式安装
1.下载HBase链接:http://mirrors.cnnic.cn/apache/hbase/选择 stable 目录,下载 bin 文件:在Linux上解压,博客中解压在/home/hadoop 目录下:进入解压目录:2.修改配置修改JDK路径、启用HBase自带zookeepervim conf/hbase-env.shJDK路径按照安装路径配置:启用自带z...原创 2018-11-15 13:28:52 · 507 阅读 · 0 评论 -
Hadoop--使用JavaAPI对文件解压、压缩
GitHub:https://github.com/GYT0313/Hadoop-JavaAPI-Code/tree/master/chapter5/src/org/gyt/hadoopCompression前言本次示例做了如下工作:将 bzip2 格式解压将文件压缩为 gzip 格式1. 上传 bzip2准备压缩文件:上传文件到 HDFS(注:/data 目录已存在):...原创 2018-11-09 16:11:04 · 2506 阅读 · 0 评论 -
Hadoop--使用JavaAPI编写wordcount的jar包
GitHub:1.创建项目创建三个类:Mapper、Reducer、Main驱动类(需要导入 jar包)2.代码WordMapper.java:package wordcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.IntWrit...原创 2018-11-09 12:23:00 · 3423 阅读 · 0 评论 -
DFS Locations没有在左侧显示出来
配置好Map/Reduce 后,第二次打开,点击上次的配置,报如下错误:并且,eclipse左侧没有显示 DFS Locations:起初以为是报错才没有显示 DFS Locations。尝试了很多方法,也没有解决报错,始终点击将报错。最后无意中,发现只需要点击:如下左侧 DFS Locations出现:不过到此还没有理解报错的原因。完!...原创 2018-10-30 20:05:06 · 6465 阅读 · 4 评论 -
ant 编译 hadoop-eclipse-plugin.jar包
1.安装 antsudo apt-get install ant测试:2.下载 hadoop已配置 hadoop-2.7.3https://download.csdn.net/download/qq_38038143/10752615未配置,源码包https://download.csdn.net/download/qq_38038143/107526963.编译目录:...原创 2018-10-30 11:39:20 · 339 阅读 · 0 评论 -
Ubuntu+hadoop集群验证
1.集群搭建参考:https://blog.csdn.net/qq_38038143/article/details/83050840在已搭建的集群中,修改配置文件yarn-site.xml:与参考文章不同的原因为:执行运算命令时命令卡住即不能进一步执行。<configuration><!-- Site specific YARN configuration prop...原创 2018-10-23 19:48:02 · 286 阅读 · 0 评论 -
Ubuntu + Hadoop2.7.3伪分布搭建
1.在virtualbox上设置共享目录将 JDK 和 hadoop 压缩包上传到Ubuntu:参考链接:https://blog.csdn.net/qq_38038143/article/details/830178772.JDK安装在 /usr/local/ 下创建目录 java,将 JDK 解压到 java 目录,执行命令:sudo tar -zxvf /usr/local/...原创 2018-10-18 12:49:51 · 715 阅读 · 0 评论 -
Ubuntu + Hadoop2.7.3集群搭建
1.修改/etc/hosts文件,IP映射内容如下:注:10.13.7.72为master节点IP,10.13.7.71为slave节点IP。(根据自己的IP地址设置)2.修改master配置文件修改slaves,内容如下:slave修改hdfs-site.xml,内容如下:&amp;amp;amp;amp;amp;lt;configuration&amp;amp;amp;amp;amp;gt; &amp;amp;am原创 2018-10-14 21:05:10 · 546 阅读 · 0 评论 -
Hadoop+redhat搭建之jdk1.8 + hadoop3.1.1伪分布安装
1. 安装包准备hadoop3.1 :链接:https://pan.baidu.com/s/13EI77WAG_Y95HqGrqqn9dA 密码:ut43jdk1.8 :链接:https://pan.baidu.com/s/1huUeiQYTpJkZlAClkYIi1w 密码:taih在主机端下载后,通过WinSCP软件将两个安装包传输到Redhat上。如图:2. 安装jdk命令:...原创 2018-09-19 22:43:11 · 2088 阅读 · 0 评论 -
VMware-14.1.2 +CentOS7 + Hadoop-2.8.4 搭建集群环境,Windows下使用IDEA开发
前言如果你的电脑内存为8G,建议每台虚拟机给1G内存。推荐至少内存大于等于12G,每台虚拟机2G。1. 下载链接:https://pan.baidu.com/s/1cDTws1tfjRpCt8pGC8Szfw提取码:xq4q2. 安装软件(已安装可跳过直接看第3点,需要注意关闭防火墙)VMware(许可证中含有密钥)、XShell、IDEA的安装省略。安装CentOS-...原创 2020-01-01 14:33:52 · 557 阅读 · 1 评论