- 博客(13)
- 收藏
- 关注
RSS订阅转载 sparkstreaming原理
Spark Streaming是Spark生态系统当中一个重要的框架，它建立在Spark Core之上，下面这幅图也可以看出Sparking Streaming在Spark生态系统中地位。 Spark Streaming是Spark Core的扩展应用，它具有可扩展，高吞...
2019-04-25 19:33:00
179
转载 kafka搭建
kafka是一个消息队列，用于构建实时数据管道和流应用程序，SparkStreaming处理数据是分批一小批一小批的处理，会有等待延迟，可能会出现数据丢失的情况，而数据量越大，效率就越低，kafka则是来一个处理一个数据，数据排队的情况就会快很多。 kafka有四个核心API： 生...
2019-04-05 14:31:00
135
转载 Incompatible Jackson version: 2.9.8解决方案
在运行spark连接kafka的示例代码的时候，报Incompatible Jackson version: 2.9.8 解放方案：版本不兼容，Jackson:是一个专门处理JSON的相关工具包，国外都使用这个包 我们下载这个包：jackson-module-scala_2.11-2.9....
2019-03-29 19:26:00
2856
转载 spark集群搭建
官网:http://spark.apache.org/ Spark:闪电式的统一的分析引擎;是一个统一的大型数据处理引擎. 下载网址:http://mirrors.ustc.edu.cn/apache/spark/spark-2.4.0/ Spar...
2019-03-09 10:39:00
131
转载 MySQL 8.0 Public Key Retrieval is not allowed 错误的解决方法
在使用 MySQL 8.0 时重启应用后提示 com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Public Key Retrieval is not allowed 没有仔细研究到底是什么问题，最简...
2019-02-01 22:52:00
643
转载 Hadoop架构浅谈
打一个俗气稍微那么形象一点的比喻，Hadoop是一个帮派，这个帮派是通过接任务维持整个帮派生存的，这个帮派有一个大哥（namenode），有一个二哥(secandarynamenode)，三个小弟(datanode)，大哥有一个管家(resourcemaneger)，小弟有一个小管家（node...
2019-02-01 22:34:00
97
转载 hbase架构
Client 包含访问HBase的接口并维护cache来加快对HBase的访问Zookeeper 保证任何时候集群只有一个master 存储所有Region的寻址入口 实时监控Region server的上线和下线信息，并实时通知给Master 存储HBase的sc...
2019-01-30 20:56:00
96
转载 安装hbase
官网下载 Hbase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。 首先，百度搜索引擎中输入【Apache hbase】，默认第一个就是官网地址，点击进入即可 进入官网后，点击导航菜单【Apache HBase Project】中的download...
2019-01-28 20:07:00
140
转载 The value of property yarn.resourcemanager.zk-address must not be null的解决方案
hive中的mr只能执行一次，如果在执行就会报错 解决：上面错误明显看到是配置文件Yarn-site.xml;那么就去改这个配置文件，一般是由于配置文件里配置了yarn的ha,我们都是复制官方文档中的配置文件如下图， 然而在上面文档中却是显示hadoop.zk.address这个地...
2019-01-28 17:47:00
1858
转载 安装hive
安装本地模式 先启动Hadoop，zookeeper 选择一台虚拟机（node-4） 把hive的包传到虚拟机上 # 当前目录: /data/hive # 解压压缩包 tar -xzf apache-hive-3.1.1-bin.tar.gz # 修改名字,把版本...
2019-01-28 17:38:00
73
转载 搭建高可用
高可用--hight avaible 参照网址：http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 一定要让zookeeper正常...
2019-01-27 22:32:00
112
转载 zookeeper集群小白教程
操作步骤： 将zookeeper的tar包传到服务器上，node-1上 解压：tar -xzvf zookeeper-3.4.13.tar.gz 老规矩改名：mv zookeeper-3.4.13/ zookeeper 配置文件： 复制conf/zoo_sampl...
2019-01-27 22:00:00
79
转载 搭建Hadoop集群
参考手册--在线:http://hadoop.apache.org/docs/r3.1.1/ 参考手册--离线:%HADOOP_HOME%/share/doc/hadoop/index.html 我们创建了四个虚拟机，所有标准配置完成之后就可以进行Hadoop集群的搭建了 ...
2019-01-27 21:31:00
103
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人