BigData
文章平均质量分 73
深海鱼肝油ya
在读盐焗生,北境第一深情,吉他爱好者。
展开
-
JAVA访问HDFS(满满干货!基础操作入门)
先来个入门源码(跑之前别忘了开启Hadoop)功能,读取指定文件,将文件内容输出到控制台import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.h原创 2020-06-02 00:45:47 · 3208 阅读 · 2 评论 -
MapReduce And WorldCount
1.安装eclipse和JDK2.在eclipse中配置JDK3.windows下安装hadoop环境4.配置hadoop的环境变量(系统环境变量)创建一个实验文件(windows下),将下面两个包解压在当前文件下添加环境变量HADOOP_HOME=D:\hadoop\hadoop-2.6.4(即上面那个文件的路径)Path=D:\hadoop\hadoop-2.6.4\bin5.在工程中导入hadoop环境需要的jar包方法:右键工程-->properties--.原创 2020-05-26 23:51:19 · 2454 阅读 · 2 评论 -
HBase
HBASEHBase是一个分布式的、面向列的开源数据库1.Zookeeper安装解压缩,重命名为zookeeper2.配置zookeepercd confcp zoo_sample.cfg zoo.cfgvi zoo.cfg在文件末尾追加以下内容:server.1=master:2888:3888server.2=slave1:2888:3888server.3=slav...原创 2020-04-27 12:13:52 · 2437 阅读 · 0 评论 -
hive实操(搜狗500w数据)
启动hive1)启动hadoop:start-all.sh2)启动mysql:service msyqld start3)启动hive:hivequit;hive应用11.本地编辑stu文件2.创建数据库hive> create database mydb;hive> use mydb;3.创建表hive> create table if no...原创 2020-04-26 13:07:01 · 3574 阅读 · 3 评论 -
Hadoop Distributed File System(mysql和hive安装)
先看PPT了解理论知识PPT戳这里启动过程:可见启动顺序为namenodes,datnodes,secondarynamenodes,yarn daemons, resourcemanager,nodemanager原创 2020-03-23 11:22:56 · 1786 阅读 · 0 评论 -
hadoop原理及安装启动
服务器一般用centOS作为操作系统。hadoop标志hadoop简介hadoop发展史hadoop特性一个文件有多个备份,对集群的硬件要求不是特别高,可编程,支持多语言hadoop应用现状版本演变Hadoop项目结构...原创 2020-03-02 11:38:44 · 1953 阅读 · 0 评论 -
安装Hadoop前的准备工作
学习环境:Vmware15+centOS6.5+1.克隆从机slave右键主机master-->管理-->克隆-->下一步-->下一步-->创建完整克隆-->给从机命名并选择存放位置-->完成2.配置master和slave的ip(静态IP,这样以后登录后IP就不会变化,方便操作)分别到每个机器下执行ifconfig查看各自的ip,广播地址...原创 2020-02-17 13:06:40 · 3448 阅读 · 0 评论