Hadoop
Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。
美奇开发工作室
后端开发工程师,做一个喜欢分享技术的领域开发者!
展开
-
Hadoop的安装(第1课)
第一步、配置SSH免密码登录ssh-keygen -t rsa 生成私钥与公钥文件(按3次回车键)ssh-copy-id localhost 发一把公钥给localhostssh localhost 使用公钥密码登录/*如果服务器的IP是10.10.10.10我本机电脑的ip是111.111.111.111*/ssh-copy-id 111.1...原创 2018-05-01 15:42:33 · 210 阅读 · 0 评论 -
hadoop的操作命令(第3课)
一起来学习【Hadoop FS Shell命令】注意了:haddop的命令位于$HADDP_HOME/bin目录下,因此我们要先进入该目录进行操作:cd ~/hadoop/bin1、创建目录:-mkdir(fs表示HDFS的指令)hadoop fs -mkdir /input22、列表文件:-lshadoop fs -ls /input2/file.txt 如果...原创 2018-05-09 15:03:17 · 198 阅读 · 0 评论 -
Eclipse安装Hadoop插件配置Hadoop开发环境
一、编译Hadoop插件首先需要编译Hadoop 插件:hadoop-eclipse-plugin-2.6.0.jar,然后才可以安装使用。 第三方的编译教程:https://github.com/winghc/hadoop2x-eclipse-plugin二、放置插件并重启Eclipse将编译好的插件hadoop-eclipse-plugin-2.6.0.jar放到Eclipse目录下的plug...转载 2018-05-09 15:18:58 · 1215 阅读 · 0 评论 -
在eclipse中使用 Hadoop插件来操纵HDFS数据库(第4课)
前言: 要想在eclipse中操作HDFS,就必须先安装hadoop插件,hadoop插件安装教程1、读取HDFS中的文件,先介绍最简单的方法,该方法虽然简单,但只能用一次,不能多次使用,因此不建议。public class hadoopTest { //因为satic是静态独占型的,所以只能执行一次。 static{ //让java虚拟机能够识别Hadoop的hdfs UR...原创 2018-05-09 15:32:21 · 177 阅读 · 0 评论 -
Hadoop的使用(第2课)
前言:在第1课,我们已经成功安装了Hadoop,下面来测试一下Hadoop统计分析数据的功能。1、在/home/sa/file下面分别创建 file1.txt 和 file2.txt 两个文件file1.txt 的内容:What's your nameMy name is Li Mingfile2.txt的内容:How are youMy dear friend2、我们启动Hadoop后,在H...原创 2018-05-04 21:47:01 · 294 阅读 · 0 评论 -
Hbase的操作命令
1、启动Hbase# 先进入Hbase目录里cd ~/hbasebin/start-hbase.sh2、进入Hbase的shell命令模式./bin/hbase shell# 查询Hbase的运行状态status3、 创建表语法:create <table>, {NAME => <family>, VERSIONS => <VERSIONS>...原创 2018-06-04 16:31:57 · 336 阅读 · 0 评论 -
Eclipse操作Hbase数据库
import java.io.IOException;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop....原创 2018-06-04 16:49:34 · 1770 阅读 · 0 评论