- 博客(13)
- 资源 (10)
- 收藏
- 关注
原创 Logstash的简单使用
Logstash的简单使用Logstash安装下载官方网站下载页面: https://www.elastic.co/cn/downloads/logstash这里使用的是logstash6.2.2版本解压上传到server01机器 scp logstash-6.2.2.tar.gz hadoop@server01:/hadoop解压即是安...
2018-05-18 15:24:12 3449
原创 ElasticSearch集群搭建及启动异常的问题
ElasticSearch集群搭建本文采用ElasticSearch5.6.9版本,采用3台机器安装,分别为server01,server02,server03。机器的系统是CentOS6.9版本ElasticSearch集群是采用leader选举机制来产生master1.下载并解压1.1 官网下载地址: https://www.elastic.co/cn/downlo...
2018-05-18 15:23:13 4954
原创 Hbase高可用集群搭建
Hbase高可用集群搭建本文采用3台机器,server01,server02,server03机器搭建。server01 : 主Masterserver02 : 备用的Masterserver01,server02,server03 : 分别为Worker1. 下载并解压安装包1.1 下载Hbase官网下载地址 http下载对应版本的的Hbase就...
2018-05-16 14:28:53 2652
原创 Hive Schema version 1.2.0 does not match metastore's schema version 2.1.0 问题
Hive Schema version 1.2.0 does not match metastore’s schema version 2.1.0 问题Caused by: MetaException(message:Hive Schema version 2.1.0 does not match metastore’s schema version 1.2.0 Metastore is no...
2018-05-16 08:58:20 3950 1
原创 Hive与Hbase的整合
Hive与Hbase的整合1. Hbase表映射到Hive表中1.1 Hive的配置文件修改1.1.1 修改hive-site.xml配置文件,添加配置属性<property> <name>hbase.zookeeper.quorum</name> <value>server01:2181,se
2018-05-15 20:16:45 2695
原创 Hbase Shell命令行基本操作
Hbase Shell命令行基本操作创建表# 'hbase_test':表名,''不能丢# {NAME => 'f1',VERSION => 1}:列簇,'f1'表示列簇名称,NAME => '':格式必须这样写create 'hbase_test',{NAME => 'f1',VERSION => 1},{NAME => 'f2',VER...
2018-05-15 20:16:09 6074
原创 Flume+Kafka+SparkStreaming之wordcount示例
Flume+Kafka+SparkStreaming的结合使用之wordcount示例1. 生成log的py脚本脚本文件名称:produce_log3.py,内容如下:import timeimport schedimport randomdef create_log(): file = open("/home/hadoop/log/access.log", ...
2018-05-13 14:08:44 1664 3
原创 SparkStreaming基本使用与Window简单的介绍
SparkStreaming基本使用与Window简单的介绍1. SparkStreaming基本使用1.1 pom.xml的依赖<dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>sca...
2018-05-13 14:07:37 3197
原创 SparkSql中DataFrame与json、csv、mysql、hive数据的互操作
SparkSql中DataFrame与json、csv、mysql、hive数据的互操作1.RDD转换成DataFrame1.1 RDD to DataFrameRDD转成DataFrame有2种方式,一种是通过隐式转换,一种是通过SparkSession来进行创建。1.1.1 RDD隐式转换成DataFrame(推荐)object RDDToDF { def ma...
2018-05-12 15:32:08 8460 1
原创 常用SparkRDD容易混淆的算子区别(Scala版本)
常用SparkRDD容易混淆的算子区别1.map与flatMap的区别# 初始化数据val rdd1 = sc.parallelize(Array("hello world","i love you"))map# map算子rdd1.map(_.split(" ")).collect# map算子结果输出res0: Array[Array[String]] =...
2018-05-08 23:45:11 2790 1
原创 Linux平台pysprak默认使用IPython编辑器
Linux平台pysprak默认使用IPython编辑器之前写过一篇Spark在windows上默认使用IPython编辑器的文章。linux上通过pyspark使用ipython其实是一样改法的。要想pysaprk默认使用ipython,我们需要先安装ipython。这里直接安装 Anaconda。1. Anaconda安装1.1 下载进入下载页面,选择需要下载的安装包...
2018-05-08 00:52:09 476
原创 Spark之本地模式与集群模式
Spark之本地模式与集群模式1.spark-shell的本地模式和集群模式1.1 local本地模式直接启动spark-shell命令窗口脚本启动后,会生成一个SparkContext的上下文对象sc。并且启动的是本地模式(local)。如图:1.1.1 加载本地数据sc.textFile("file:///home/hadoop/words.txt").fl...
2018-05-07 22:20:36 10043
原创 Spark的Standalone模式之HA集群搭建
Spark的Standalone模式之HA集群搭建前言本文使用Spark的版本为:spark-2.3.0-bin-hadoop2.7.tgz。spark的集群采用3台机器进行搭建,机器分别是server01,server02,server03。其中:server01,server02设置为Master,server01,server02,server03为Worker。...
2018-05-07 13:25:12 901
Gradle for Android
2016-11-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人