![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
你携秋水揽星河
ㅤㅤㅤ
展开
-
spark实现WordCount(多种实现方式)
第一种方式:文件内容:object WordCount { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount") /// 创建Spark上下文对象 val sc = new ...原创 2020-02-21 18:04:48 · 2064 阅读 · 0 评论 -
Spark基础知识梳理
用户提交的应用程序代码在spark中运行起来就是一个driver,用户提交的程序运行起来就是一个driver,他是一个一段特殊的excutor进程,这个进程除了一般excutor都具有的运行环境外,这个进程里面运行着DAGscheduler Tasksheduler Schedulerbackedn等组件。官方例子中计算π值的程序代码在spark上运行起来就是一个driver,可以看到这段程...原创 2020-02-21 15:48:13 · 296 阅读 · 0 评论 -
RegionServer进程启动没几秒就消失,查看日志,得到以下异常,解决方案
RegionServer进程启动没几秒就消失,查看log日志,发现报错如下: org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server linuxfour,16020,1570638266978 has been rejected; Repo...原创 2019-10-09 17:04:01 · 1000 阅读 · 0 评论 -
hbase shell 启动报错解决
输入hbase shell 之后, 发现hbase shell启动报错如下:[root@Linuxone conf]# hbase shellSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/module/hbase-2.0.6/lib/slf4j-log4j...原创 2019-10-08 17:21:51 · 1303 阅读 · 0 评论 -
MapReduce之wordcount放到hadoop集群上运行出现报错:the Java Runtime only recognizes class file versions up to 52.0
MapReduce之wordcount程序放到hadoop集群上运行出现报错:Exception in thread "main" java.lang.UnsupportedClassVersionError: zhang/shao/wordcount/MyWc has been compiled by a more recent version of the Java Runtime (cl...原创 2019-12-01 15:49:50 · 3173 阅读 · 0 评论 -
大数据之MapReduce
MapReduceMapReduce框架分两个阶段:map阶段: 程序MapTaskreduce阶段: 程序ReduceTaskMap阶段:对maptask读到的一行数据如何处理Reduce阶段:对reducetask拿到的一组相同key的kv数据如何处理从宏观角度可以看出:split(切片)MapReduce原语:"相同"的key为一组,调用一次reduce方...原创 2019-11-29 18:50:40 · 128 阅读 · 0 评论 -
输入HDFS命令报错: Couldn't create proxy provider null
**无论输入什么指令都会报错Couldn’t create proxy provider null, ****解决方法: **在hdfs-site.xml中添加以下代码:<property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>...原创 2019-11-23 21:30:00 · 6823 阅读 · 0 评论 -
Centos7下安装MySQL5.7.28(rpm安装)
我的是centos7.6,MySQL的版本是5.7.28. mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar 。 里面是一些mysql的rpm安装集合包。1. 安装:我们已经将从官网上下载的rpm安装集合包到本地window上, 将这些安装集合包上传到我们的centos系统上,上传到/opt/software目录下。1.1: 建立一个目录,用于存储ta...原创 2019-12-22 11:00:45 · 1838 阅读 · 0 评论 -
Spark-2.3.4之HA模式搭建
首先搭建HA模式必须要有zookeeper集群。 同时zookeeper正常安装并启动。主机规划图(Spark-HA模式):主机规划路线1. 在搭建的时候,要把先启动zookeeper进程。2. 进入spark的conf文件夹修改spark-env.sh文件:可以使用Notepad++来连接Linux系统,通过Notepad++来修改配置文件。//通过Notepad++来修改spa...原创 2019-10-23 10:27:34 · 263 阅读 · 0 评论 -
Kafka分布式搭建
hostnamezookeeperBrokerProducerConsumecentosone~~centostwo~~centosthree~~centosfour~~kafka中的角色: Producer, Broker, Consume, zookeeper.节点规划如上图所示在centosone中进行...原创 2019-10-23 10:29:25 · 189 阅读 · 0 评论