Hadoop大数据技术
文章平均质量分 83
主要研究大数据相关技术,Hive/Hdfs/Hadoop/Kafka/Redis等
代码人的自白
编程技术爱好者
展开
-
Hbase配置与工具操作类
基础配置hbase-env.shexport JAVA_HOME=/opt/nsfocus/espc/deps/javaexport HBASE_CLASSPATH=/opt/nsfocus/espc/conf/hadoop/hbase-site.xml<configuration><property> <name>hbase.rootdi...原创 2018-11-26 17:31:24 · 240 阅读 · 0 评论 -
kafka生产者与消费者
可同时建立多个组进行数据消费,不同组使用不同数据即可。保证集群性能。设置方法: props.put(“group.id”, “jd-group2”); props.put(“group.id”, “jd-group3”);package com.newegg.ec2.test.kafka; import java.util.Properties;impor...原创 2018-06-29 10:37:49 · 472 阅读 · 0 评论 -
Hbase基础操作
hbase查询操作: 登陆: hbase shell创建表: create_namespace 'ecitem' create "ecitem:ShoppingCart", {NAME =>'i',COMPRESSION =>'GZ', VERSIONS => 1, BLOCKCACHE => true, IN_MEMORY=>false}插入数据: put ...原创 2018-06-29 10:55:42 · 383 阅读 · 0 评论 -
Hive索引使用
1创建索引:hive&amp;gt; create index 1index_leon on table ipslog(nstimestamp)&amp;gt; as 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler'&amp;gt; with deferred rebuild&amp;gt; IN TABLE index_table_studen...原创 2018-07-05 16:52:24 · 720 阅读 · 0 评论 -
Flume Agent应用配置
以下是Flume作为Agent实例,把应用数据发送到hdfs上,实现实时数据转发的功能。example.conf: A single-node Flume configurationName the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1Describe/configure the sou...原创 2018-11-26 15:54:07 · 873 阅读 · 0 评论 -
Hive Metastore原理及配置
一、Hive存储概念1、Hive用户接口:命令行接口(CLI):以命令行的形式输入SQL语句进行数据数据操作Web界面:通过Web方式进行访问。 Hive的远程服务方式:通过JDBC等方式进行访问。 2、元数据存储 将元数据存储在关系数据库中(MySql、Derby),元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所在的目录等。3、解...原创 2018-07-04 16:32:08 · 6915 阅读 · 1 评论