- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 zookeeper理论知识
文章目录ZooKeeper概述ZooKeeper关键特性ZooKeeper模型ZooKeeper容灾能力ZooKeeper读特性ZooKeeper写特性ZooKeeper和HDFSZooKeeper和YARNZooKeeper和HBaseZooKeeper概述ZooKeeper 分布式服务框架主要是用来解决分布式应用中经常遇到的一些数据管理问题，提供分布式、高可用性的协调服务能力。安全模式下ZooKeeper依赖于Kerberos和LdapServer进行安全认证，非安全模式则不依赖于Kerbero
2020-09-02 13:33:41
436
原创 kafka理论知识
文章目录Kafka简介Kafka结构TopicsPartition偏移量Partition副本Logs删除信息消息传输保障消息传输场景写数据读数据Kafka简介Kafka定义：Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统，利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka应用场景：Kafka和其他组件比较，具有消息持久化、高吞吐、实时等特性，适用于离线和实时的消息消费，如聚合统计系统运营数据（监控数据）、日志收集等大量数据的数据收集场景。Kafka结构
2020-09-02 00:18:14
331
原创 Hive理论知识
文章目录Hive简介Hive特性Hive 的设计特点Hive的优点Hive缺点Hive的架构Hive数据存储模型分区和桶托管表和外部表Hive与传统数据仓库比较Hive简介Hive是基于Hadoop的数据仓库软件，可以查询和管理PB级别的分布式数据。Hive 是一种数据仓库处理工具，使用类SQL的HiveQL语言实现数据查询功能，所有Hive的数据都存储在HDFS中。Hive特性灵活方便的ETL(extract/transform/load)。支持MapReduce，Tez，Spark等多种计算
2020-09-01 00:26:00
327
原创 HBase理论知识
HBase简介HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。适合于存储大表数据（表的规模可以达到数十亿行以及数百万列），并且对大表数据的读、写访问可以达到实时级别。利用Hadoop HDFS（Hadoop Distributed File System）作为其文件存储系统，提供实时读写的分布式数据库系统。利用ZooKeeper作为协同服务。HBase应用场景海量数据（TB、PB）。高吞吐量。需要在海量数据中实现高效的随机读取。需要很好的性能伸缩能力。能够同时处理
2020-08-31 22:02:09
484
原创 Spark理论知识
文章目录Spark简介spark特点Spark与MapReduceSpark体系Spark核心概念RDDRDD的依赖关系RDD的Stage划分RDD的算子Spark的任务调度Spark on Yarn-clientSpark on Yarn-clusterSpark SQL概述DatasetRDD与datasetSpark SQL vs HiveSpark StreamingSpark Streaming vs StormStructured StreamingSpark扩展Spark简介2009年诞生
2020-08-29 02:03:11
465
原创 MapReduce和YARN理论知识
MapReduce和YARN技术原理MapReduce基本定义MapReduce特点MapReduce工作流程概述MapReduce逻辑过程MapReduce角色MapReduce1.0的缺陷MapReduce扩展YARN概述YARN任务调度流程MapReduce On YARN任务调度流程YARN 的高可靠性YARN 容错机制MapReduce基本定义MapReduce是面向大数据并行处理的计算模型、框架、平台。MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastru
2020-06-01 23:15:28
660
原创 HDFS理论知识
HDFS组成HDFS概述HDFS适合做什么？HDFS不适合做什么？HDFS基本系统框架HDFS写入流程HDFS读取流程HDFS架构关键设计元数据持久化元数据同步元数据持久化的流程元数据持久化相关名词HDFS的高可靠性HDFS联邦机制数据副本机制HDFS数据存储策略分级策略标签存储节点组存储Colocation同分布HDFS数据完整性保障block扩展：HDFS组成hdfs文件系统组成：文件名、元数据、数据块文件系统定义：文件系统是一种存储和组织计算机数据的方法，它使得对其访问和查找变得容易。文件.
2020-05-18 01:31:49
564
原创 大数据入门
大数据入门传统的数据处理方式传统数据库的瓶颈大数据概念大数据组成分布式系统基础架构（hadoop）大数据相关组件大数据与传统数据库比较大数据时代的挑战传统的数据处理方式处理过程：cpu处理内存数据，内存数据从硬盘中读取瓶颈：当数据量大时，会增加硬盘到内存的io；单机为纵向扩展，成本较高，要求硬盘要大，内存要大，cpu速度要快传统数据库的瓶颈传统的数据库部署不能处理百TB及以上级别的数据。传统的数据库没有考虑数据的多样性，尤其对结构化数据，半结构化数据和非结构化数据的兼容。传统的数据库对数
2020-05-16 16:44:56
632
原创 Spring 入门1
Spring 入门1——helloword一、任务搭建web项目之helloword二、快速构建SpringBoot工程访问：https://start.spring.io/三、将项目导入idea解压第二步中的zip包到idea对应的项目目录下四、将项目添加到maven工程中五、下载maven对应的包...
2020-04-11 15:01:19
106
原创 ElasticSearch2.4入门
ElasticSearch2.4入门说明：为什么已经到了es7.3版本的时候还在写es2.4，因为服务器内核版本没有超过3.5。目录相关链接ElasticSearch安装步骤一、安装相关jdk版本二、新建elasticSearch的相关用户三、安装ElasticSearch四、ElasticSearch配置相关链接es文档官方链接：https://ww...
2019-08-14 17:46:33
352
原创 tomcat7和tomcat8的websocket区别
tomcat8真正支持jsr-356(包含对websocket的支持)， tomcat7部分版本的websocket实现不兼容jsr-356。websocket实现tomcat7.x与tomcat8.x有很大差异。在tomcat7中使用websocket需要定义一个servlet，然后继承WebSocketServlet，在tomcat8中使用websocke。出自：http://blog.csd
2017-06-06 18:10:22
21848
4
转载 SSL绕过https
在调用SSL之前需要重写验证方法，取消检测SSL。public static HttpClientConnectionManager init(){ try { SSLContext sslContext = SSLContexts.custom().loadTrustMaterial(null, new TrustStrategy() {
2017-06-06 15:33:43
762
原创 Security_MQ的安全机制
ActiveMQ支持可插拔的安全机制，用以在不同的provider之间切换。 2、 JAAS Authentication
2016-03-09 11:24:29
536
原创 Persistence持久化
1、AMQ Message StoreAMQ Message Store是ActiveMQ5.0缺省的持久化存储。Message commands被保存到transactional journal（由rolling data logs组成）。Messages被保存到data logs中，同时被reference store进行索引以提高存取速度。Date logs由一些单独的data log文
2016-03-09 11:09:51
365
原创 TransPort
1、VM transportVM transport允许在VM内部通信，从而避免了网络传输的开销。配置语法： vm://brokerName?transportOptions 高级配置语法： vm:(broker:(tcp://localhost)?brokerOptions)?transportOptions vm:broker:(tcp://lo
2016-03-09 10:36:57
415
原创 Broker
一、Running Broker 1、运行bin里面的activemq.bar启动broker2、此外也可以通过Broker Configuration URL或Broker XBean URL对broker进行配置eg: activemq activemq xbean:myconfig.xmlactivemq xbean:file:./conf/broker1.xmlac
2016-03-08 15:44:14
615
原创 MQ入门
一、JMS规范1、连接工厂：客户用来创建连接对象。2、连接：虚拟连接客户与JMS提供者。3、会话：生产和消费信息的一个单线程上下文，用于创建product、consume、message。4、目的地：客户用来指定它生产的消息的目标和它消费的消息的来源的对象点对点（PTP）消息传递域的特点： 目的地——>queue每个消息只能有一个消费者；无论消费者在生产者发送消息的
2016-03-08 14:15:06
444
原创 JFinalConfig的基础学习
import com.jfinal.aop.Interceptor;import com.jfinal.config.Constants;import com.jfinal.config.Handlers;import com.jfinal.config.Interceptors;import com.jfinal.config.JFinalConfig;import com.jfina
2016-03-03 16:51:55
282
原创 jfinal的搭建
jfinal的搭建1、 用 eclipse 创建 Dynamic Web Project。修改 Default OutPut Folder ，推荐输入 WebRoot\WEB-INF\classes。修改 Content Directory ，推荐输入 WebRoot。2、 放基本 jar 到项目的WEB-INF\lib 下。基本包： jfinal-xxx.jar 与jetty
2016-03-03 16:05:25
390
原创 JavaScript高级
JavaScript高级一、对象1、访问对象属性的语法是：objectName.propertyName2、调用对象方法的语法是：objectName.methodName()3、创建JavaScript对象（1）定义并创建对象的实例var person=new Object();//创建直接的实例person.firstname="John"
2016-03-03 15:20:30
256
原创 JavaScript HTML DOM
JavaScript DOM一、查找HTML元素1、通过 id 找到 HTML 元素2、通过标签名找到 HTML 元素3、通过类名找到 HTML 元素你在南方的艳阳里大雪纷飞 我在北方的寒夜里四季如春如果天黑之前来得及我要忘了你的眼睛穷极一生做不完一场梦 你在南方的艳阳里大雪纷飞我在北方的寒夜里四季如春x=document.g
2016-03-03 14:01:54
255
原创 JS笔记
1、函数参数：函数显式参数在函数定义时列出。函数隐藏参数(arguments)在函数调用时传递给函数真正的值。2、JavaScript的闭包局部变量计数。计数!0var add = (function () { var counter = 0; return function () {return counter += 1;}})();//先ret
2016-03-03 11:38:56
277
原创 JS基础（三）
从菜鸟教程里面摘抄：http://www.runoob.com/js/js-tutorial.html二十一、调试1、浏览器启用调试工具一般是按下 F12 键，并在调试菜单中选择 "Console" 。2、可以使用 console.log() 方法在调试窗口上打印 JavaScript 值。3、debugger 关键字用于停止执行 JavaScript，并调用调试函数，
2016-03-03 09:38:29
199
原创 JS基础（二）
从菜鸟教程里面摘抄：http://www.runoob.com/js/js-tutorial.html十一、字符串：：：===：：：var y = "He is called \"Johnny\"";运行后得到的结果：He is calles "Johnny"十二、运算符1、比较运算符2、逻辑运算符3、条件运算
2016-03-02 16:29:26
257
原创 JavaScript的事件举例
现在的时间是?从菜鸟教程里面摘抄：http://www.runoob.com/js/js-tutorial.html
2016-03-02 16:28:10
286
原创 JavaScript的函数举例
点击这个按钮，来调用带参数的函数。点击这里function myFunction(name,job){alert("Welcome " + name + ", the " + job);}从菜鸟教程里面摘抄：http://www.runoob.com/js/js-tutorial.html
2016-03-02 16:24:08
267
原创 JavaScript的对象举例
点击按钮执行 displayDate() 函数.点这里function displayDate(){document.getElementById("demo").innerHTML=Date();}
2016-03-02 16:20:52
352
原创 JS基础（一）
JavaScript入门笔记从菜鸟教程里面摘抄：http://www.runoob.com/js/js-tutorial.html
2016-03-02 14:55:22
310
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人