自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 资源 (9)
  • 收藏
  • 关注

原创 maven整合SSM搭建项目

Maven整合SSM搭建项目目录一、概要.21.1 Maven21.1.1 Maven的基本概念.21.1.2 Maven的核心概念.21.1.2 Maven的目标.51.1.3 Maven的常用命令.51.2 Spring61.2.2  Spring的特点与优点.81.3 Spring MVC101.3.1 SpringMV

2018-01-11 11:15:42 665

原创 MapReduce集群设置与开发环境配置

MapReduce集群设置与开发环境配置MapReduce集群概述       MapReduce运行在Hadoop集群上。但MapReduce是通过另外一批进程来运行的。HDFS的进程名是NameNode、SecondaryNameNode和DataNode;而MapReduce的进程名(可以通过JPS命令查看)是:       ResourceManager:数据计算资源的总体

2018-01-12 11:36:33 983

原创 eclipse安装Hadoop插件

Hadoop-eclipse插件第一部分释放Hadoop安装包       将hadoop-2.7.4.tar.gz解压到特定位置,如E:\bigdata\hadoop-2.7.4       注意:里面不能再套hadoop文件夹安装Hadoop-Eclipse插件       将Hadoop-Eclipse(hadoop-eclipse-plugin-2.7.3.jar)

2018-01-12 11:30:00 247 1

原创 安装Hadoop生态圈是遇到的问题

yum配置不通:vi /etc/resolv.conf更改DNShadoop:hadoop的根目录下的logs文件夹下的以.log结尾的文件文件组成:hadoop-用户名-启动节点-主机名.log找到挂掉的节点名称和对应主机,打开日志找错namenode消失:查看日志,发现上面提示namenode的ID信息和datanode的ID信息不一致解决方案:1.找到

2018-01-04 15:39:54 354

Ambari部署大数据环境文档

基于Ambari部署大数据开发环境的文档,可以部署成单节点的,也可以配置多节点的,Ambari能刚好的监测集群运行的健康状态,

2018-07-16

spark自定义分区以及写了一个例子,对文件进行处理

用spark自定义了一个分区,并且写了一些数据!写了一个scala类,进行测试!里面备注详细,对于初学者来说是一个不错的例子!

2018-01-12

eclipse安装Hadoop插件

Hadoop在eclipse上面安装插件,以及对Hadoop jar包和hadoop-common jar包的安装,环境变量的配置

2018-01-12

scala API 操作hbase表

最近看了hbase的源码根据源码写了一些scala调动hbase表的API,话不多说直接上代码!Hadoop的版本是2.7.3,scala版本是2.1.1,hbase的版本是1.1.2 如果版本不同可以修改pom的依赖项,但要注意版本冲突。 并且在scala,maven项目中,还有创建一个resources包(这个网上多的是)主要是放core-site,xml和hdfs-site.xml以及hbase-site.xml

2018-01-11

Hadoop扩容

Hadoop存储容量或计算能力不能满足日益增长的需求时,就需要扩容。 扩容有两个方案: 1) 增加磁盘 2) 增加节点

2018-01-11

IDEA创建maven项目

idea创建maven项目的详解,还有需要删除配置文件,创建模板

2018-01-03

scala和spark的安装

scala和spark的安装和配置,以及启动spark,分发节点。

2018-01-03

Linux下Hbase和zookeeper的安装和部署

在Linux虚拟机下的Hadoop集群上配置和安装hbase和zookeeper,

2018-01-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除