- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 ZooKeeper技术浅谈（二）
一、zookeeper内部原理1.1选举机制半数机制（Paxos 协议）：集群中半数以上机器存活，集群可用。所以zookeeper适合装在奇数台机器上。Zookeeper虽然在配置文件中并没有指定master和slave。但是，zookeeper工作时，是有一个节点为leader，其他则为follower，Leader是通过内部的选举机制临时产生的。以一个简单的例子来说明整个选举的过程。...
2018-11-05 21:29:53
127
原创 单例模式
核心作用保证一个类只有一个实例，并且提供一个访问该实例的全局访问点常见应用场景任务管理器回收站网站的计数器日志的管理数据库连接池操作系统中的文件系统Application (Servlet中)Spring中，每个Bean默认是单例的Servlet中每个Servlet是单例的spring MVC框架/status框架中，控制器对象也是单例的常见的五种...
2018-08-04 22:36:03
109
原创 Zookeeper技术浅谈（一）
Zookeeper简介Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目，主要用来解决分布式集群中应用系统的一致性问题。它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理。 * 简单的说，zookeeper=文件系统+通知机制。Zoo...
2018-08-04 22:35:13
269
原创 爬虫优化（连接超时改进，如何防封）
连接超时改进private static String execute(HttpRequestBase request) { //设置创建连接最长的时间 RequestConfig requestConfig = RequestConfig.custom().setConnectTimeout(1000*10) .setConnectionRequestTimeou...
2018-08-04 22:33:11
2058
原创 爬虫基础
爬虫简介爬虫系统一般由三个模块构成：获取数据，解析数据，存储数据。根据爬取范围分为垂直爬虫和通用爬虫，垂直爬虫专门针对某一类网站进行爬取，通用爬虫爬取互联网网上的所有数据。爬虫原理获取数据获取数据需要发起网络请求，网络请求使用HTTP协议。通过JDK的API获取数据public void JdkHttpGetData throws Exception...
2018-08-04 22:31:26
142
转载 使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...
2018-08-04 22:25:37
90
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人