![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
nihao_pcm
https://github.com/pengchengming
展开
-
hive三种搭建方式
Hive中metastore(元数据存储)的三种方式: a)内嵌Derby方式 b)Local方式 c)Remote方式 1.本地模式(derby) 这种方式是最简单的存储方式,只需要在hive-site.xml做如下配置便可 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="conf...原创 2019-01-19 11:38:05 · 185 阅读 · 0 评论 -
hadoop3.1高可用集群配置
namenode datanode journaonode zookeeper nodemanager resourcemanager node1 Y Y node2 Y Y Y Y Y node3 Y Y ...原创 2019-01-19 11:19:59 · 169 阅读 · 0 评论 -
hadoop2.7高可用集群配置
namenode datanode journaonode zookeeper nodemanager resourcemanager node1 Y Y node2 Y Y Y Y Y node3 Y Y Y Y ...原创 2019-01-19 11:09:34 · 175 阅读 · 0 评论 -
kafka介绍以及集群搭建
kafka是什么?使用场景? kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式,先进先出(FIFO)保证顺序,自己不丢数据,默认每隔7天清理数据。消息列队常见场景:系统之间解耦合、峰值压力缓冲、异步通信。 kafka生产消息、存储消息、消费消息 Kafka架构是由producer(消息生产者)、consumer(消息消费者)、borke...原创 2019-01-18 16:29:20 · 134 阅读 · 0 评论 -
hbase介绍和集群搭建
一、HBASE架构 Client 包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper 保证任何时候,集群中只有一个master 存贮所有Region的寻址入口。 实时监控Region server的上线和下线信息。并实时通知Master 存储HBase的schema和table元数据 Master 为Region server分...原创 2019-01-19 12:53:35 · 150 阅读 · 0 评论 -
windows下配置hadoop和spark环境变量
一、下载winutils包 链接一:https://github.com/steveloughran/winutils 链接二:https://download.csdn.net/download/nihao_pcm/10938773 二、将winutils bin目录下的文件覆盖到本地hadoop的bin目录下 三、hadoop.dll 放到 c:/windows/system32下 ...原创 2019-01-25 21:49:21 · 633 阅读 · 0 评论 -
Scala
Scala介绍 1.Spark中使用的是Sacla2.10。 2.Scala官网6个特征。 1).Java和scala可以混编 2).类型推测(自动推测类型) 3).并发和分布式(Actor) 4).特质,特征(类似java中interfaces 和 abstract结合) 5).模式匹配(类似java switch) ...原创 2019-01-31 15:05:48 · 151 阅读 · 0 评论 -
Spark Core API
一、SparkContext SparkContext是一个在Spark库中定义的类。它是Spark库的入口点。它表示与Spark集群的一个连接。每个Spark应用程序都必须创建一个SparkContext类实例。目前,每个Spark应用程序只能拥有一个激活的SparkContext类实例。如果要创建一个新的实例,那么必须让当前激活的实例失活。 val config = ne...原创 2019-01-28 21:06:27 · 352 阅读 · 0 评论