大数据
文章平均质量分 61
XGkerwin
这个作者很懒,什么都没留下…
展开
-
DataX配置
datax配置文件原创 2022-09-12 09:18:39 · 771 阅读 · 0 评论 -
Storm 介绍
介绍Storm的简介Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等,大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语,使我原创 2022-04-30 10:18:26 · 514 阅读 · 0 评论 -
Sqoop安装与使用
安装解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz删除压缩包rm -rf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz复制到指定目录mv sqoop-1.4.7.bin__hadoop-2.6.0 /opt/yjx/修改目录名mv sqoop-1.4.7.bin_hadoop-2.6.0 sqoop-1.4.7修改配置文件vim /etc/profileexport SQOOP_HOME=原创 2022-04-16 15:36:20 · 1913 阅读 · 0 评论 -
protobuf安装和使用
解压[root@node01 ~]# tar -zxvf phoenix-hbase-2.2-5.1.0-bin.tar.gz改名[root@node01 ~]# mv phoenix-hbase-2.2-5.1.0-bin phoenix-5.1.0复制到指定目录[root@node01 ~]# mv phoenix-5.1.0 /opt/yjx/进入[root@node01 ~]# cd /opt/yjx/phoenix-5.1.0/修改配置文件vim bin/hba原创 2022-04-14 11:54:38 · 2199 阅读 · 0 评论 -
HBase优化设计
1、表的设计1、Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按照region分区情况,在集群内做数据的负载均衡。//第一种实现方式是使用admin对象的切分策略byte[] startKey = ...; // yo原创 2022-04-13 10:28:27 · 737 阅读 · 0 评论 -
HBase基本操作
1、通用命令//展示regionserver的task列表hbase(main):000:0>processlist//展示集群的状态hbase(main):000:0>status//table命令的帮助手册hbase(main):000:0>table_help//显示hbase的版本hbase(main):000:0>version//展示当前hbase的用户hbase(main):000:0>whoami2、DDL操作//修改表的属性hbas原创 2022-04-13 10:15:33 · 689 阅读 · 0 评论 -
Hbase环境搭建
首先安装hadoop参考https://blog.csdn.net/XGkerwin1/article/details/123822689?spm=1001.2014.3001.5501解压tar -zxvf hbase-2.2.5-bin.tar.gz复制到指定目录mv hbase-2.2.5 /opt/yjx/进入目录cd /opt/yjx/hbase-2.2.5/conf/修改集群环境vim hbase-env.shexport HBASE_LOG_DIR=${HB原创 2022-04-11 14:52:38 · 1220 阅读 · 0 评论 -
Hadoop集群搭建
node01解压tar -zxvf hadoop-3.1.2.tar.gz移动目录mv hadoop-3.1.2 /opt/yjx/打开目录cd hadoop-3.1.2/etc/hadoop/修改集群环境vim hadoop-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_231-amd64export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS原创 2022-03-29 15:25:32 · 2165 阅读 · 0 评论