Hadoop
狒狒你呐
这个作者很懒,什么都没留下…
展开
-
Hadoop-在linux安装Hive
1.解压tar -zxvf apache-hive-2.3.4-bin.tar.gzmvapache-hive-2.3.4-bin hive2.环境变量vim /etc/profileexport HIVE_HOME=/opt/hiveexport PATH=$JAVA_HOME/bin:$HADOOP/bin:$HIVE_HOME/bin:$PATH3.配置hivehive-site.xml需先从默认配置复制出来vim /opt/hive/conf/hive-site..原创 2020-11-25 23:02:27 · 159 阅读 · 0 评论 -
Hive--linux安装
简介APACHE HIVE TMThe Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data al...原创 2020-02-06 23:37:54 · 175 阅读 · 0 评论 -
Hadoop--HA(高可用)
1.Zookeeper(动物管理员)1.zookeeper简介动物管理员管理大象、海豚等动物(实例)Welcome to Apache ZooKeeper™Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed ...原创 2020-02-05 17:07:34 · 186 阅读 · 0 评论 -
Hadoop--hdfs测试&mapreduce测试
qweqweq原创 2020-02-05 16:45:16 · 657 阅读 · 0 评论 -
Hadoop-java操作Hbase
依赖<!--hbase start--> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <versi...原创 2019-12-15 23:59:52 · 160 阅读 · 0 评论 -
Hadoop-在linux安装Hbase
前提Hadoop集群和Zookeeper已经安装完毕,并能正确运行1.下载二进制安装包 https://www.apache.org/dyn/closer.lua/hbase/2.2.2/hbase-2.2.2-bin.tar.gz2.解压tar -zxvf hbase-2.2.2-bin.tar.gz3.配置环境变量export HBASE_HOME=/opt/hbase...原创 2019-12-15 15:31:59 · 217 阅读 · 0 评论 -
Hadoop--hdfs的java api
pom.xml<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <ve...原创 2019-12-08 23:30:47 · 515 阅读 · 1 评论 -
Hadoop-在linux的伪分布式集群、启动
伪分布式:tar -zxvf hadoop-2.9.2.tar.gzhadoop-env.sh修改/opt/hadoop-2.9.2/etc/hadoop/hadoop-env.sh指定JAVA_HOMEbin目录下 ./hadoop version 查看hadoop版本修改/opt/hadoop-2.9.2/etc/hadoop/core-site.xml<...原创 2019-12-08 17:14:40 · 345 阅读 · 0 评论 -
hadoop初步
Apache hadoop是什么?处理海量数据(上T)的一个框架具体解决问题: 海量数据的存储(HDFS) 海量数据的分析(MapReduce) 资源调度管理(YARN) ...原创 2019-01-16 18:34:31 · 154 阅读 · 0 评论 -
HADOOP(一)windows开发环境搭建
1.java开发环境2.hadoop官网下载hadoop-2.9.0.tar.gzhadoop环境变量HADOOP_HOME: E:\hadoop\hadoop-2.9.0Path: %HADOOP_HOME%\binHADOOP_CONF_DIR: E:\hadoop\hadoop-2.9.0\etc\hadoop...原创 2018-04-11 19:52:51 · 1203 阅读 · 0 评论 -
Hadoop()-理解Map-Reduce
map-reduce背后的思想很简单,就是把一些数据通过map来归类,通过reducer来把同一类的数据进行处理。map-reduce之所以有效是基于两个哲学, (1)大而化小 和 (2) 异而化同。 这两个应对了大数据中的volume(量)和variety(类)挑战。wordCount要求:计算文件中出现每个单词的频数...原创 2018-04-03 13:34:19 · 194 阅读 · 0 评论