- 博客(6)
- 收藏
- 关注
RSS订阅原创 zookeeper原理详解
ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务，它提供了一项基本服务：分布式锁服务。由于ZooKeeper的开源特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法：配置维护、组服务、分布式消息队列、分布式通知/协调等。角色Zookeeper中的角色主要有以下三类，如下表所示：系统模型如图所示：设计目的1.最终一致性：client不论...
2019-08-20 15:38:48
190
原创 什么是Hbase
1、什么是Hbase。是一个高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。适合于存储非结构化数据，基于列的而不是基于行的模式如图：Hadoop生态中HBase与其他部分的关系。2、关系数据库已经流行很多年，并且Hadoop已经有了HDFS和MapReduce，为什么需要HBase?Hadoop可以很好地解决大规模数据的离线批量处理问题，但是，受限于HadoopMapRed...
2019-08-20 15:09:30
237
转载 Spark学习总结
RDD及其特点1、RDD是Spark的核心数据模型，但是个抽象类，全称为Resillient Distributed Dataset，即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。（分布式数据集）3、RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行...
2019-08-20 09:03:05
111
转载 Scala中的Option方法和GetOrElse
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/sinat_32176267/article/details/81872328对于some来说：如果some指定了一个数，那从这里面取getOrElse方法结果都是该指定的数，若Option为空，则取出的getOrElse值是后面的指定...
2019-08-17 09:26:57
493
原创 Caused by SSLError(SSLError("bad handshake: Error
因为请求的是https 协议，所以请求禁用证书验证原来的代码：resp=requests.get(url,headers=headers)改正后的：resp=requests.get(url,headers=headers,verify=False)加上最后的一个参数verify=False就能正常请求连接了...
2019-03-09 11:21:14
8091
原创 mongo 使用 NoSQLBooster for MongoDB 连接不上
windows系统解决方法：在盘符新建一个文件夹 例如 d:mongodb\data（文件夹名能不能改也没试过建议和这一样)在命令行输入命令 cd ****(文件夹名)例如 cd… （先向上切换，默认给你进入的user目录 依着输入这个直到你切换到了 盘符）cd Program Filescd MongoDB…直到切换到你的Mongo的bin目录下输入命令 mongo...
2019-01-04 21:21:45
4326
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人