![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
夜幕.思年华
这个作者很懒,什么都没留下…
展开
-
hbase-2.4 过滤器
1、比较过滤器行键过滤器 RowFilterFilter filter1 = new RowFilter(CompareOperator.EQUAL, new BinaryComparator("q4000".getBytes()));scan.setFilter(filter1);列族过滤器 FamilyFilterFilter filter1 = new FamilyFilter(CompareOperator.EQUA, new BinaryComparator(Bytes.toByt原创 2020-06-08 14:54:21 · 252 阅读 · 0 评论 -
最简单的-flume-ng-集群搭建
环境变量配置#flumeexport FLUME_HOME=/home/flume-1.9.0/export PATH=$PATH:$FLUME_HOME/bincp flume-env.sh.template flume-env.shvi flume-env.sh 修改export JAVA_HOME=/opt/module/jdk1.8.0_161删除/home/flume-1.9.0/lib/guava 用版本高的cp /home/hadoop-3.2.1/share/had原创 2020-06-08 14:42:25 · 349 阅读 · 0 评论 -
最简单的-spark3-集群搭建
机器:10.211.55.67 master10.211.55.68 slave110.211.55.69 slave2首先三台机器安装scalawget https://downloads.lightbend.com/scala/2.13.2/scala-2.13.2.tgz下载之后配置环境变量#scalaexport SCALA_HOME=/home/scala-2.13.2export PATH=$PATH:$SCALA_HOME/bin测试 scala -version配置原创 2020-06-08 14:39:04 · 1300 阅读 · 4 评论 -
最简单的-storm2集群搭建
机器:10.211.55.67 master10.211.55.68 slave110.211.55.69 slave2环境变量配置#stormexport STORM_HOME=/home/storm-2.1.0export PATH=$PATH:$STORM_HOME/binstorm-2.1.0 目录下创建data修改包内的配置文件 storm.yamlstorm.zookeeper.servers: - "master" - "slave1" - "sl原创 2020-06-08 14:36:51 · 283 阅读 · 0 评论 -
最简单的-hive搭建
机器:10.211.55.67 master10.211.55.68 slave110.211.55.69 slave2hive官网下载地址:http://mirror.bit.edu.cn/apache/hive/配置环境变量#hiveexport HIVE_HOME=/home/apache-hive-3.1.2/export PATH=$PATH:$HIVE_HOME/bin进入conf,拷贝配置文件cp hive-default.xml.template hive-site.x原创 2020-06-08 14:34:15 · 311 阅读 · 0 评论 -
最简单的-hbase2-集群搭建
机器:10.211.55.67 master10.211.55.68 slave110.211.55.69 slave2配置环境变量export HBASE_HOME=/home/hbase-2.2.4export PATH=$PATH:$HBASE_HOME/bin:/$HBASE_HOME/sbincd /home/hbase-2.1.9/conf配置hbase-site.xml <property> <name>hbase.ro原创 2020-06-08 14:32:18 · 298 阅读 · 0 评论 -
最简单的-hadoop-3.2集群搭建
机器:10.211.55.67 master10.211.55.68 slave110.211.55.69 slave2解压hadoop-3.2.1到home配置环境变量#hadoopexport HADOOP_HOME=/home/hadoop-3.2.1export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin进入Hadoop-3.2.1/etc/hadoop配置core-site.xml <!-- 指定NameNod原创 2020-06-08 14:29:53 · 424 阅读 · 1 评论 -
hive静态分区,动态分区 -夜幕思年华
123123原创 2019-05-29 17:10:44 · 161 阅读 · 0 评论 -
mapreduce-二次排序 -夜幕思年华
脚本数据20 2150 5150 5250 5350 5460 5160 5360 5260 5660 5770 5860 6170 5470 5570 5670 5770 581 23 45 67 82203 2150 51250 52250 53530 5440 51120 5320 52260 5660 57740 5863 ...原创 2019-05-30 10:50:58 · 127 阅读 · 0 评论 -
mapreduce-全局排序 -夜幕思年华
脚本数据生成随机数到文件 for k in $(seq 1 10000) do echo $RANDOM>>test_data.txt; donepackage com.doop.gw.hadoop.reducer.order;import java.io.ByteArrayOutputStream;import java.io.IOException;...原创 2019-05-30 10:10:50 · 284 阅读 · 0 评论