- 博客(10)
- 收藏
- 关注
RSS订阅原创 hadoop配置详情
一 完全分布式集群(单点）Hadoop官方地址：http://hadoop.apache.org/1 准备3台客户机1.1防火墙,静态IP,主机名关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆1.2 修改host文件我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。因此我们在主机的/...
2020-04-02 14:03:25
457
原创 maven仓库环境搭建和测试
环境准备（1）JDK 环境必须是 1.8 及以上，传送门：jdk1.8.191 下载（2）后面要使用到 Maven 管理工具 3.2.5 及以上版本，所以会先介绍 Maven 的安装与配置（3）开发工具建议使用 IDEA，也可以 MyEclipse，为了实现一站式服务，传送门：IDEA 破解（原文是PyCharm的，步骤完全一样，Webstorm 也可以破解）MyEclipse 2018...
2020-01-27 16:15:29
1650
原创 spark配置
Linux安装Spark集CentOS7+Spark2.1.11 安装Spark依赖的ScalaScala的下载和解压缩可以参考下面博文的对应章节，步骤和方法一模一样：http://blog.csdn.net/pucao_cug/article/details/723537011.2 为Scala配置环境变量编辑/etc/profile这个文件，在文件中增加一行配置：export ...
2019-05-21 20:35:58
3260
原创 MapReduce演练
mapper类实现：/*KEYIN：输入kv数据对中key的数据类型VALUEIN：输入kv数据对中value的数据类型KEYOUT：输出kv数据对中key的数据类型VALUEOUT：输出kv数据对中value的数据类型*/public class WordCountMapper extends Mapper<LongWritable, Text, Text, ...
2019-05-21 20:13:25
166
原创 HADOOP下的HDFS演练
hadoop环境搭建好后，运行第wordcount示例1.首先启动hadoop:start-all.sh2.进入到hadoop的安装目录下（我的是/root/opt/module/hadoop-2.7.3）3.新建hadoop hdfs文件系统上的input文件夹（输入文件存放）：hadoop fs -mkdir /input4.在当前目录下新建test.txt文件,传入测试文件: ha...
2019-05-21 20:12:24
83
原创 hadoop集群环境搭建
一、基础环境Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上的进程，只不过伪分...
2019-05-21 20:11:20
77
原创 hive配置与wordcount实例
hive的安装与配置默认环境中jdk已经正常安装，hadoop集群正常启动MySQL安装1.1官网下载mysql-server（yum安装）wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可用，下载安装wget：yum -y install wget1.2:解压rpm -ivh my...
2019-05-21 20:04:01
619
原创 NOSQL下的Redis和MongoDB的安装和配置
安装MongoDB下载MongoDB提供了linux平台上32位和64位的安装包，你可以在官网下载安装包下载地址：http://www.mongodb.org/downloads安装下载完成后，在你安装的目录下解压zip包。创建数据库目录MongoDB的数据存储在data目录的db目录下，但是这个目录在安装过程不会自动创建，所以你需要手动创建data目录，并在data目录中创建db目录。...
2019-05-21 19:37:32
231
原创 Centos7上HBase的安装和配置简单Eclipse+Maven
hbase版本 hadoop2.7.3版本 hbase-1.2.7Hadoop启动start-hbase.sh进入HBASEhbase shell以下为HBASE安装过程#解压文件到指定目录tar -zxvf /hbase-1.2.7-bin.tar.gz -C /usr/lib/#配置 hbase-site.xml 文件/root/opt/module/hbase-1.2....
2019-05-21 19:21:57
343
原创 大数据技术与应用
第一章：大数据概论1.1:大数据简介1.1.1:IT产业的发展简史1.1.2:大数据的只要来源1.信息管理系统2.网络信息系统3.物联网系统4.科学实验系统1.1.3:数据生成的三种主要方式1.1.4:大数据的主要特点1.1.5:大数据的处理流程1.数据汲取与集成2.大数据分析3.数据可视化...
2019-03-04 19:53:38
521
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人