2016年12月_六尘

原创完全分布式安装hbase,使用hbase自带的zookeeper

1.我使用的是稳定版本的hbase：hbase-1.2.4-bin.tar.gz 下载地址：http://www-eu.apache.org/dist/ 里面有个stable版本的2.配置环境变量，集群上的每个节点都要配置 vim ~/.bashrcexport HBASE_HOME=/usr/local/hbase/hbase-1.2.4export PATH=$PATH:$HBASE_H

2016-12-28 11:32:53 25071 2

原创 Eclipse搭建Scala+Spark开发环境

搭建教程：http://www.linuxidc.com/Linux/2015-08/120946.htm eclipse中运行第一个scala编写的spark程序：http://blog.csdn.net/xummgg/article/details/50651867 eclipse中Scala IDE插件的下载地址：http://scala-ide.org/download/prev-sta

2016-12-22 16:11:47 3970

原创 HDFS写操作遗留问题

一. 大量小文件如何存储在HDFS上： HDFS上块的大小默认为64M，有的为128M。这里以64M为例每写入一个文件，首先由客户端创建文件请求，创建完成后，第二步就是询问NameNode要写入的这个文件所分到的这些数据块（block）在哪些DataNode上。NameNode会在命名空间中新建一个文件，并检查这个文件是否已经存在，并且检查是否有权限创建。检查通过后，第三步开始写入数据。当文件

2016-12-18 18:15:43 670

一.安装ScalaScala程序运行在java虚拟机（JVM）上，所以安装Scala之前需要先在linux系统中安装Java。由于之前已经安装了，没安装的可以到我的文章http://blog.csdn.net/xqclll/article/details/53466713去查看。到Scala的官网上去下载相应操作系统的scala版本，解压到安装路径下，然后修改文件权限，使hadoop用户拥有对sca

2016-12-12 22:02:29 2680

原创 Hadoop2.0集群安装配置

本集群使用centOS 7作为系统集群，基于原生Hadoop2，使用版本为Hadoop2.6.0。一. 搭建前提：在搭建集群之前，要保证每台虚拟机都配置好了Hadoop用户安装SSHServer（centOS 7系统安装好后就默认安装了）安装JAVA环境安装Hadoop二. 网络配置首先保证所有主机位于同一个局域网内，然后将每台虚拟机的网络都设为桥接模式，并且手工配置IP地址，保证它

2016-12-11 12:53:47 888

原创 centOS 登录远程服务器

一. 获得对方的授权:服务器IP地址：xxx.xxx.xxx.xxx端口号：xx用户名：mjc密码：**********二. centOS7安装完后默认自动开启ssh服务但我们可以使用如下步骤检查ssh是否开启 1.查看22端口是否开放netstat -tnl2.查看ssh服务是否启动systemctl status sshd.service3.ssh远程登录： ssh [-l

2016-12-09 11:51:03 699

原创 CentOS7上安装Hadoop2.0——单机模式/伪分布式模式暨任务二

注意：本文步骤参考给力星的http://www.powerxing.com/install-hadoop-in-centos/的内容，实验结果均是本人真实实验的图片，仅用于记录和学习之用。一．创建hadoop用户1. 登录root用户，创建Hadoop用户$ su root2. 创建可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。# useradd -m hadoop

2016-12-06 16:41:36 2968

原创 CentOS安装配置JDK1.7暨任务一

1.解压jdk,新建Hadoop文件,将JDK解压后放入此文件夹中 2.进入root用户su root3.卸载自带的openJDKrpm -qa | grep javarpm -e --nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.91

2016-12-05 16:37:31 843