- 博客(20)
- 收藏
- 关注
RSS订阅转载 ELK相关
https://www.cnblogs.com/kevingrace/p/5919021.html日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器...
2019-03-19 18:02:49
149
转载 kafka分区策略
1.默认的分区策略：Range Startegy（根据范围消费）Range startegy是对每个主题而言的 ， 首先对同一个主题里面的分区按照序号进行排序，并对消费者按照字母进行排序。在对十个分区排序的话是0-9；消费者线程排完序是C1-0，C2-0，C2-1。然后用partitions的总数除以消费者的总数来决定每个消费者线程消费几个分区。如果有余数，那么前面的几个消费者线程将会多消费一...
2019-03-19 17:32:00
628
1
原创 Hadoop高级编程之：Combiner，对MR程序进行优化。
1.Combiner的本质就是Reducer。2.是执行在Map端的Reducer。3.程序中是否使用Combiner不能影响正常的Map到Reduce的数据传输；其实就是Combiner数据输入的K和V的数据类型与其数据输出的K和V的数据类型一致。【数据从Map交给Reduce的时候，Map的输出K和V的数据类型与Reduce输入的K和V的数据类型一致。】4.如果程序中的Reducer的数...
2019-03-03 13:33:19
278
原创 MapReduce执行流程
1.客户端提交作业给YARN集群，RM接受客户端所提交的作业。2.RM根据作业所要处理的文件来决定Map任务在哪些节点上执行，然后确定Reduce任务在哪些节点【NN】上执行。3.RM分配Map任务和Reduce任务到相应的节点上。4.Map任务开始执行，将执行结果临时保存到本地【执行过Map任务的节点】。5.当Map任务执行完成之后，Reduce任务开始执行，Reduce任务从远程节点上...
2019-03-01 17:52:50
144
原创 Hadoop集群的搭建
0.规划：1.在/opt/目录下创建softwares和links目录。2.softwares用于安装软件，links用于创建软件的软链接。3.环境变量配置到当前用户的家目录下的.bashrc中。用户环境变量：.bashrc .bashrc_profile系统环境变量：/etc/profile /etc/bashrc1.创建目录并分配权限：> sudo mkdir /opt/s...
2019-03-01 17:36:20
99
原创 iterator与iterable的区别
异:(迭代器(n):如果集合中的元素不具备迭代性,实现类可以对集合中的元素进行迭代 it.next() hasnext() remove()迭代的(adj)):让集合中的元素具备可迭代性,可以实现foreach(),内封装了iterator接口的类,集合collection set list 都是实现类,同:都是接口,做迭代...
2019-03-01 17:24:15
327
原创 comparator与comparable区别:
异:comparator(比较器(n):实现类比较没比较性的类的对象int compare(object o1 ,object o2)comparable比较的(adj)):实现类具有可比较性int A.compareTo(Object B)同: 接口,做比较...
2019-03-01 17:23:35
82
原创 学习之路之：关于HDFS
1.读写原理:读:获得配置文件对象;借此得到文件系统对象;调用open()连接namenode检查文件信息,返回文件元数据给客户端FSDataInputStream流对象,中产生DFSInputstream读取最近的datanode中第一个数据块给FSDataInputstream,关闭所有的流对象写:获得配置文件对象;借此得到文件系统对象;调用create()连接namenode检查分配存储...
2019-03-01 17:15:32
81
原创 学习之路之：Hbase
概念:建立在hdfs之上,分布式,面向列,非关系型,开源,横向扩展,一致的随机读写访问,利用hdfs提高容错,hadoop的一部分,提供java API,跨集群复制,表,大,用处:Apache HBase提供快速随机访问的数据，实时的读/写访问大数据。它承载在集群普通硬件的顶端是非常大的表。模拟非关系型数据库，工作在Hadoop HDFS的顶部。HDFS ...
2019-03-01 17:10:04
89
原创 关于jdbc连接
1、加载JDBC驱动,加载MySql的驱动类Class.forName(“com.mysql.jdbc.Driver”);2、提供JDBC连接的URLjdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=gbk;3、创建数据库的连接Connection con = DriverManager.getC...
2019-03-01 17:04:03
90
原创 array,list的区别
在Java中 Array是数组，List是集合。数组直接可以使用，List是接口，需要使用实现类，比如：ArrayList。使用方式也不同，Array数组使用下标获取元素，List是get（index）初始化Array数组必须指定大小，不灵活。List 可以自己扩充大小，方便。...
2019-03-01 17:00:57
364
原创 hashmap,treemap,linkedmap,的区别
共同点：HashMap,LinkedHashMap,TreeMap都属于Map；Map 主要用于存储键(key)值(value)对，根据键得到值，因此键不允许键重复,但允许值重复。不同点：1.HashMap:据键的HashCode值存储数据,访问速度快,效率最高,键可(一个)空，值可为(多)空；线程不安全Hashtable:与hashmap相似,线程安全2.TreeMap:可以排序,遍历...
2019-03-01 16:59:46
3591
原创 关于http协议,tcp/UDP协议
tcp/UDP:同:同为美国国防部设计的两个协议,处于tcp/ip协议的传输层异:1.流式与报文式传输2.连不连接3.对系统资源的要求（TCP较多，UDP少）；4.UDP程序结构较简单；5.TCP保证数据正确性，UDP可能丢包，TCP保证数据顺序，UDP不保证。注:三次握手:client A ;server B A->B,B->A,A->B四次挥手: A-...
2019-03-01 16:56:09
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人