- 博客(15)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 Spark-2.2.0集群搭建
下载spark-2.2.0:下载地址 点击进入下载地址加压spark-2.2.0tar -zxfv spark-2.2.0-bin-hadoop2.77.tgz配置环境变量export SPARK_HOME=/usr/local/soft/spark-2.2.0export PATH=$SPARK_HOME/bin:$PATH修改配置文件[hadoop@maste...
2018-07-22 13:19:30
196
原创 Scala中的环境搭建和HelloScala的解析
用IDEA进行Scala的开发安装JDK1.8版本以上在window中配置Scala的环境变量和Jdk的环境变量Jdk的环境配置JAVA_HOMEC:\Program Files\Java\jdk1.8.0_131Scala的环境配置SCALA_HOMED:\scala-2.11.8验证安装是否成功Idea中安装Scala的插件1、找到与Intelli...
2018-07-22 13:18:37
212
原创 Kafka集群搭建(三台)
解压kafka_2.11-0.10.0.1.tgz解压：tar -zxvf kafka_2.11-0.10.0.1.tgz配置环境变量配置环境变量vi ~/.bashrcexport KAFKA_HOME=/usr/local/soft/kafkaexport PATH=${PATH}:${KAFKA_HOME}/binscp ~/.bashrc slave1:~/.bashrcscp...
2018-07-09 18:31:13
2804
原创 Flume --Source
使用avro源：监听Avro端口并从外部Avro客户端流接收事件。当与另一个(前一跳)水槽代理上的内置Avro接收器配对时，它可以创建分层集合拓扑。1.配置flume【avro_r.conf】#comonentsa1.sources = r1a1.sinks = s1a1.channels = c1#sourcea1.sources.r1.type = avroa1.source...
2018-07-09 10:39:07
166
原创 AsyncHBaseSink（此接收器使用异步模型将数据写入HBase）
AsyncHBaseSink在hbase中创建表 t1 列族 f1hbase(main):006:0> create 't1','f1'0 row(s) in 1.2980 seconds=> Hbase::Table - t1hbase(main):007:0> listTABLE ...
2018-07-08 11:55:40
1129
原创 Flume的简单介绍
要想使用Flume，就需要运行Flume代理。Flume代理是由持续运行的sorce(数据来源)、sink(数据目标)以及channei(用干连接sours。和sink)构成的Java进程。Flume的source产生事件，并将其传送给channel , channel存储这些事件直至转发给sink。可以把source-channel-sink的组合视为基本Flume构件 Collector的作...
2018-07-08 09:44:46
16395
原创 Flume - HDFS Sink(数据的目的地为HDFS)
一：flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。，Flume架构分为三个部分 源-Source，接收器-Sink，通道-Channel。flume--------------------- agent(主件)： source :收...
2018-07-08 09:33:28
2697
转载 HBASE---Java API编程实例
创建maven工程pom.xml<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.1</version></dependenc
2018-07-06 12:18:48
521
原创 hbase在zookeeper中的数据结构
查看hbase在zookeeper中的数据结构（这一个小的知识点很多人都会忽略）几个比较主要的下面有解释replication, meta-region-server, rs, 节点数 splitWAL, 日志文件backup-masters, table-lock, flush-table-proc, region-in-transition, online-sna...
2018-07-06 12:18:07
4069
2
原创 Hbase架构 Hbase Region的拆分和合并
Hbase架构 Hbase Region的拆分和合并对命令不熟查看帮助文档help 'split'hbase(main):035:0> scan 'hbase:meta'ROW COLUMN+CELL ...
2018-07-06 12:17:53
2604
1
原创 通过ZooKeeper的api访问ZooKeeper集群
zookeeper集群的的搭建：点击打开链接创建Maven项目pom.xml 添加依赖：<dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.9<...
2018-07-05 23:10:45
4211
2
原创 自定义函数(UDF) 将字符串转换成日期
自定义函数（UDF）把字符串转换成日期创建类继承UDFimport java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.hive.ql.exec.Descri...
2018-07-02 21:45:18
1464
原创 HIVE 视图 索引 桶表
视图-view（虚表） 降低查询的复杂度创建视图 view create view view1 as select c.id cid,c.name,c.age,o.id oid, o.ordernum,o.price from customers c left outer join orders o on c.id = o.id;对视图进行查询hive (hive1)> select * f...
2018-07-01 17:47:14
249
原创 HIVE 中 内连接 外连接 左外连接 右外连接 全外连接 联合操作
hive的join操作，只支持等值连接创建customers和orders表，一对多关系创建customers表create table customers(id int,name string,age int) row format delimited fields TERMINATED by '\t' lines TERMINATED by '\n' stored as textfil...
2018-07-01 14:33:39
20696
scala.rar学习笔记和心得
2020-06-13
javase.rar
2020-06-07
dianyingshujuji.csv
2020-04-23
scala.rar基础知识，笔记很好的详细
2020-02-28
hadoop源码编译
2018-12-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人