- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Oozie——大数据任务调度框架
Oozie简介Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。功能相似的任务调度框架还有Azkaban和Zeus。Oozie三大功能模块从图中不难看出，Oozie主要有三大功能模块构成：workflow(工作流)：定义job任务执行。Coordinator：定时触发
2021-02-26 15:24:04
821
原创 ElasticSearch和solr的对比
一、两者的概念1、【solr】: Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果，【特点】是一个高性能，采用Java开发，Solr基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是
2021-01-22 12:00:58
1971
原创 eclipse上的maven，添加依赖后无法自动下载相应的jar包
报错信息：Failed to read artifact descriptor for org.quartz-scheduler:quartz-jobs:jar:2.2.3 org.eclipse.aether.resolution.ArtifactDescriptorException: Failed to read artifact descriptor for org.quartz-s...
2021-01-08 09:48:38
350
原创 java实现ldap方式对active directory进行增删改查
此代码是上一篇文章的补充，通过上一篇文章配置好ssl证书后，直接复制此代码就可以验证了。代码如下：package LdapOperUtil;import javax.naming.Context;import javax.naming.NameAlreadyBoundException;import javax.naming.NameNotFoundException;import javax.naming.NamingEnumeration;import javax.naming.Namin
2021-01-07 11:50:14
818
原创 windows 2012 r2下active directory生成CA证书
实现步骤：AD域证书申请->导入Java密钥库一、安装AD证书服务环境：Windows Server 2012 R2 + Active Directory1.服务器管理器->仪表盘，添加角色和功能1.如图默认，点击下一步1.配置证书服务进入证书颁发机构二、开启AD域证书服务1、打开域服务器的服务器管理，点击本地安全策略2、点击公钥策略，双击打开证书服务客户端-证书注册策略3、选择启用4、点击启用后如果安装了ActiveDir
2021-01-06 18:57:24
4262
原创 kafka常用shell命令总结
1、创建kafka topickafka-topics.sh --zookeeper node01:2181 --create --topic t_Name --partitions 30 --replication-factor 2注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数partitions分区数:partitions ：分区数，控制topic将分片成多少个log。可以显示指定，如果不指定则会使用broker(server
2020-12-14 09:58:38
937
原创 Java实现快速排序
快速排序算法通过多次比较和交换来实现排序，其排序流程如下：(1)首先设定一个分界值，通过该分界值将数组分成左右两部分。(2)将大于或等于分界值的数据集中到数组右边，小于分界值的数据集中到数组的左边。此时，左边部分中各元素都小于或等于分界值，而右边部分中各元素都大于或等于分界值。(3)然后，左边和右边的数据可以独立排序。对于左侧的数组数据，又可以取一个分界值，将该部分数据分成左右两部分，同样在左边放置较小值，右边放置较大值。右侧的数组数据也可以做类似处理。(4)重复上述过程，可以看出，这是一个递归定义
2020-12-01 11:37:11
112
原创 kafka的leader的均衡机制
kafka的leader的均衡机制当一个broker停止或者崩溃时，所有本来将它作为leader的分区将会把leader转移到其他broker上去，极端情况下，会导致同一个broker管理多个分区，导致负载不均衡，同时当这个broker重启时，如果这个broker不再是任何分区的leader,kafka的client也不会从这个broker来读取消息，从而导致资源的浪费。kafka中有一个被称为优先副本（preferred replicas）的概念。如果一个分区有3个副本，且这3个副本的优先级别分别为0
2020-11-24 10:27:05
874
原创 Debian系统ntpd服务和kerberos服务安装
1.ntpd服务安装安装：apt-get install ntpdate查看NTP服务器的配置：cat /etc/default/ntpdate2.kerberos服务安装所有节点安装DNS服务器KDC端安装kerberos① 查看是否安装kerberosdpkg -l krb*删除已安装的kerberosapt-get remove --purge krb* # krb*替换成具体需要删除的文件安装kerberos：apt-get install krb5-kdc krb
2020-11-20 16:47:51
1122
原创 debian系统简单介绍
系统简介：广义的Debian是指一个致力于创建自由操作系统的合作组织及其作品，由于Debian项目众多内核分支中以Linux宏内核为主，而且 Debian开发者 所创建的操作系统中绝大部分基础工具来自于GNU工程 ，因此 “Debian” 常指Debian GNU/Linux。非官方内核分支还有只支持x86的Debian GNU/Hurd（Hurd微内核），只支持amd64的Dyson（OpenSolaris混合内核）等。这些非官方分支都存在一些严重的问题，没有实用性，比如Hurd微内核在技术上不成熟，
2020-11-20 16:41:12
6703
原创 kerberos的as tgs cs认证基本原理
KDC（kerberos Distribution Center）密钥分发中心，维护所有账户的名称和Master Key（key的hash code）。提供：AS认证服务、TGS票据授予服务Client 访问 Service需要Kerberos认证过程3个子协议：1.AS Exchange2.TGS Exchange3.CS Exchange认证过程如下图：1.1Authentication Service Exchange该服务通过KDC的AS服务对Client身份的确认，并颁发给该Cl
2020-11-11 11:34:35
2677
原创 Hadoop中JournalNode的作用
NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。Hadoop中的Name
2020-11-10 09:51:49
1299
转载 Hadoop教程(一) Hadoop入门教程
Hadoop教程(一) Hadoop入门教程1 Hadoop入门教程Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/)，用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是：HDFS和MapReduce，HDFS实现存储，而MapReduce实现原理分析处理，这两部分是hadoop的核心。数据在Hadoop中处理的流程可以简单的按照下图来理解：数据通过Haddop的集群处理后得
2020-11-09 17:16:42
2176
原创 linux配置互信
1.首先在一台服务器上生成公钥和私钥[root@beh-1 ~]# ssh-keygen -t rsaps:如果要设置无密码登录，那么在 Enter passphrase (empty for no passphrase):Enter same passphrase again:这个地方直接回车就可以设置无密码登录。2.然后分发公钥到要配置互信的主机地址上[root@beh-1 ~]# ssh-copy-id root@123.34.23.106 ssh-copy-i
2020-11-05 17:04:39
2921
1
原创 Linux安装ansible过程总结--源码编译方式
Linux之安装ansible详细过程linux下安装部署ansible介绍Ansible是一种批量部署工具，现在运维人员用的最多的三种开源集中化管理工具有：puppet,saltstack,ansible，各有各的优缺点，其中saltstack和ansible都是用python开发的。ansible其实准确的说只提供了一个框架，它要基于很多其他的python模块才能工作的，所以在安装ansible的时候你要再装很多其他的依赖包的。好处之一是使用者可以开发自己的模块，放在里面使用。第二个好处是无需在
2020-11-05 11:47:08
1346
原创 java中的进制转换
java中的进制转换：其他进制转成十进制：按权相加法，即将八进制每位上的数乘以位权（如8,64,512….），然后将得出来的数再加在一起。如将72.45转换为十进制。如图1所示。十进制转成其他进制：以转成八进制为例方法：咱们还是分整数部分转换和小数部分转换。整数部分，除8取余法，每次将整数部分除以8，余数为该位权上的数，商继续除以8，余数又为上一个位权上的数，然后以此类推一直下去，直到商为零，最后从最后一个余数向前排列就可以了，嗨，还是上图直观，如图2所示。再看小数部分，与转二进制相同，这
2020-10-18 11:01:55
143
原创 java中io流常用方法总结
还有一个重要方法： createNewFile() : 真正生成磁盘中的文件list()和listFiles()的区别：list()返回的是一个String类型数组，它只是一个数组，仅仅只是一个文件（文件夹）的名字而已；而listFiles()方法返回的是一个File类的引用，它具有类的所有属性和方法，比如：String getName()方法就能够返回该文件的String类型的文件名（名字而已）。...
2020-10-05 17:43:29
391
原创 java之集合总结
一. 集合概述Java集合是使程序能够存储和操纵元素不固定的一组数据。所有Java集合类都位于java.util中。集合中存放基本数据类型时，需要存放对应的基本类型包装类。二. 层次结构Java的集合类主要由两个接口派生而出：Collection和Map。Collection和Map是Java集合框架的根接口,这两个接口又包含了一些子接口或实现类。下面我们列举出最常用的几个子接口和实现类：Collection ——> List ——> ArrayList类Collection ——&
2020-10-05 17:00:25
93
原创 java异常学习总结
一. 概念异常是Java中提供的一种识别及响应错误情况的一致性机制。有效地异常处理能使程序更加健壮、易于调试。二．异常error：系统内部错误，这类错误由系统进行处理，程序本身无需捕获处理。Exception：Exception是所有异常类的父类。分为非RuntimeException和RuntimeException。非RuntimeException：指程序编译时需要捕获或处理的异常，如IOException、自定义异常等。属于checked异常。RuntimeException：指程序编译
2020-10-05 15:58:54
158
原创 java面向对象
一.面向过程与面向对象面向过程就是分析出解决问题所需要的步骤，然后用函数把这些步骤一步一步实现，使用的时候一个一个依次调用就可以了； 面向对象是把构成问题事务分解成各个对象，建立对象的目的不是为了完成一个步骤，而是为了描叙某个事物在整个解决问题的步骤中的行为。二.类定义面向对象的程序设计中有两个重要概念：类和对象。其中类是某一类对象的抽象。对象才是一个具体的实体。如：有一条狗叫”花花”，那么这条真实存在的狗才是对象，而”狗”是类，代表一类”花花”这样的实体。2.1语法格式 [
2020-10-05 15:49:58
97
原创 maven本地仓库配置
1.首先解压安装maven安装包2.自己选择一个位置创建.m2文件夹，然后在.m2文件夹下创建repository文件夹3.复制maven解压路径下的conf下的settings.xml文件到.m2文件夹下4.修改conf和.m2下的两个settings.xml文件的本地仓库指向repository文件夹5.若想改变下载文件首选仓库的位置，就在conf下的settings.xml中添加对应...
2020-10-05 15:33:27
168
原创 maven常用指令总结
1、mvn clean说明: 清理项目生产的临时文件,一般是模块下的target目录2、mvn package说明: 项目打包工具,会在模块下的target目录生成jar或war等文件，如下运行结果。3、mvn test说明: 测试命令,或执行src/test/java/下junit的测试用例.4、mvn install说明: 模块安装命令 将打包的的jar/war文件复制到你的本地仓库中,供其他模块使用 -Dmaven.test.skip=true 跳过测试(同时会跳过test compil
2020-09-30 09:19:49
133
原创 sql中having，group，select，where，order by，join的执行顺序
在SQL中执行的顺序先连接from后的数据源(若有join，则先执行on后条件，再连接数据源)。执行where条件执行group by4.执行having5.执行order by6.输出结果。顺序：FROMONJOINWHEREGROUP BYWITH CUBE 或 WITH ROLLUPHAVINGSELECTDISTINCTORDER BYTOP...
2020-09-25 17:28:50
738
原创 linux shell中if的常用各种判断
linux shell中if的各种判断shell编程中使用到得if语句内判断参数–b当file存在并且是块文件时返回真 -c当file存在并且是字符文件时返回真 -d当pathname存在并且是一个目录时返回真 -e当pathname指定的文件或目录存在时返回真 -f当file存在并且是正规文件时返回真 -g当由pathname指定的文件或目录存在并且设置了SGID位时返回...
2019-11-22 12:15:12
392
原创 java数组之与数组元素查找
1. 顺序查找顺序查找是在一个已知无(或有序）序队列中找出与给定关键字相同的数的具体位置。【算法原理】让关键字与队列中的数从最后一个开始逐个比较，直到找出与给定关键字相同的数为止。【算法描述】public static int ordersearch(int[] arry,int des){int i=0;for(;i<=arry.length-1;i++){if(des==...
2019-11-21 09:41:32
534
原创 java数组之排序
1.冒泡排序【算法原理】冒泡排序算法的运作如下：(从后往前)比较相邻的元素。如果第一个比第二个大，就交换他们两个。对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。针对所有的元素重复以上的步骤，除了最后一个。持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。【算法描述】public static void bub...
2019-11-21 09:40:58
142
原创 sql语句关键字执行顺序
sql语句关键字执行顺序关于sql关键字的执行顺序Select,where,group by,order by四个关键字的先后顺序Where > selectGroup by > selectSelect > order byWhere> group by最终结论：Where > group by > select > ord...
2019-11-15 19:44:39
423
原创 java的循环
java循环1.if …else …2. switch…case …3. while… 和 do …while4. for each
2019-11-13 09:52:29
109
原创 java方法
java方法1.方法语法格式访问修饰符 返回值类型 方法名(参数列表){方法体 }2.递归方法程序自身调用自身的编程技巧称为递归。 示例：斐波那契数列的递归实现： Fibonacci: 1 , 1 , 2 , 3 , 5 , 8 , 13 , 21 ... ... 终止部分：F1=1,F2=1; 递归部分为：F(n)=F(n-1)+F(n-2),其中n>2...
2019-11-13 09:50:49
70
原创 java初识
java初识之基本语法1.命名规则：强制规则：严格区分大小写只能由字母、数字、下划线_、美元符号$组成数字不能开头不能使用关键字保留字非强制规则：驼峰规则。见名知义。 2.基本数据类型： 3.整型表示十进制：如123=1100+210+31=123八进制，八进制0开头：如：013=18+31=11十六进制，十六进制0x开头：如：0x23=216+3*1=354....
2019-11-05 14:57:33
162
原创 java入门之jdk安装
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-11-05 14:24:16
74
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人