- 博客(25)
- 收藏
- 关注
RSS订阅原创 awk做wordcount
此处的S变量表示一个数组，该数组的索引为每个不重复的单词，值就是S[$1]，$1代表单词那一列。awk是每都一行执行一次动作。此处就是每读一行，同一个key对应的值就增加一。当统计完，最后,也就是END对应的内容，就是循环打印出存储了统计结果的数组的key和值。
2024-01-21 20:08:12
734
原创 【大数据运维-ambari】自定义fair-scheduler.xml配置文件导致ambari-server启动失败
删掉之前自定义的文件fair-scheduler.xml，重启ambari-server成功。将自定义fair-scheduler.xml放到。进ambari数据库查看发现数据应该是对的。
2023-07-26 22:49:24
326
1
原创 【Vmware】vmware禁止虚拟主机开启后自动时间同步到宿主机
现象：每次开启虚拟机后（无论是虚拟机自己的系统开机，还是虚拟机从挂起状态开启），虚拟机时间都会自动同步宿主机时间。保存退出，重新打开虚拟机（让新的配置文件被重新读取），发现重新开启虚拟机后时间已经和宿主机时间不一致了。
2023-07-26 10:28:07
1975
2
原创 ambari管理配置组实现针对不同节点使用不同配置
配置组关联的配置：confgroupclusterconfigmapping 添加一行记录：config_group_id 对应一个 version_tag。配置组关联的主机：configgrouphostmapping 添加两行记录：config_group_id=2 对应两个 host_id，1和3。这里需要注意的是，配置组在 clusterconfig 表的 config_data 只保存修改的配置项，其他配置项，和默认配置组保持一。configgrouphostmapping：配置组对应的主机。
2023-07-22 17:55:26
303
原创 ambari+hdp下重装/卸载服务
二.对应日志目录下的文件，直接删光。比如删除hive的日志，为rm -rf /usr/log/hive/*一.对应在hdfs上的目录，直接删除掉，否则下次重装该服务会读取卸载残留文件，导致错误频出；三.部分服务可能需要删除在zookeeper上的节点，比如hbase.四.[可能] 删除在mysql中相关表。清理完毕后，再重新安装服务。
2023-07-18 10:01:22
604
原创 【Vmware】vmware脚本一键启动/关闭虚拟机集群
一.安装vmware workstation pro 17（确保windows宿主机环境变量中存在可执行程序路径）三.编写好文件后双击.bat文件会自动弹出cmd弹窗，执行命令，从而达到关闭或者启动虚拟机集群。启动虚拟机集群.bat。挂起虚拟机集群.bat。
2023-07-17 04:15:56
624
原创 【Vmware】windows中实现物理网卡与vmware虚拟网卡网络互通
参考：http://www.360doc.com/content/18/0805/15/21175922_775865937.shtml。场景：vmware中部分虚拟机通过桥接模式直连windows系统物理网卡，网段为192.168.XXX.计算机管理-服务和应用程序-服务-Routing and Remote Access。需求：实现两个网段的虚拟机网络互通，并且都能够连接公网。2.分别配置好虚拟机的网络，虚拟网络适配器等信息。1.需要保证物理网卡和虚拟网卡之间网络互通。这两种虚拟机的网段不一致。
2023-04-23 15:32:46
2691
原创 systemctl restart network重启网络失败报错：RTNETLINK answers: File exists
重启network失败报错：RTNETLINK answers: File exists
2023-04-14 15:38:46
3583
原创 java一个点理解上的小意外
看官看下面的代码，觉得System.out.println(ii=999);这样写有问题不？上图中，系统可以打印出赋值语句的值为999，这说明赋值语句本身有返回值，就是值本身。并且，在函数内的赋值语句本身是对外部的参数是做了修改的，这不是类似值传递。向一个函数本身传递一个参数是值传递，ii=999本身就是一个值，但这个值的得到是通过赋值语句形成的。赋值语句在参数被传递之前执行。这个类似...
2019-01-17 16:03:06
132
原创 数据结构与算法每日一练---4快排
如何使用快速排序算法对整数数组进行排序？思路：就是手写快排。快排原理:是冒泡排序的升级版，过程是选定数组第一个数，依次从数组末尾与之比较，若比...
2019-01-17 11:47:33
240
原创 数据结构与算法每日一练---3荷兰旗问题
问题描述：给定一个数组arr，长度已知，指定某个数num.要求将数组重新组织整理成：等于num的值在数组中间，小于num在其左边，大于num的在其右边。同时要求:时间复杂度:不大于O(N)，空间复杂度为O（1）。该题看起来和快排很像：就是用指定的数作为边界划分两组小于它的集合与大于它的集合。快排的思路是在数组中取得某个索引号已知，该索引上值也已知，然后用该数从后往前，从前往后逐渐比较大...
2019-01-17 11:00:39
202
原创 一张图完美说明深|浅拷贝的区别!
无论是深拷贝还是浅拷贝，在某个对象调用object自带的clone()方法时候，都会重新new一个新对象出来，区别在对象内部的引用类型变量是复制引用地址还是新new一个对象出来。实现深拷贝常用方法是序列化和反序列化比较方便。在调用object有个protect的native方法，本身是浅复制的。要想使用它，必须实现cloneable接口并super.clone()方法。...
2019-01-15 15:54:51
158
原创 数据结构与算法每日一练---3:如何在一次传递中找到长度未知的单链表的中间元素？
问题准备知识：链表有三种：单向、双向、循环。对于一个单链表，只能从链表的一段开始遍历，对于双链表，可以两端同时开始。问题：如何在一次传递中找到长度未知的单链表的中间元素？链表中间元素含义：索引为最中间值得哪个元素，奇数为最中间，偶数有两个。一次传递：一次遍历。开始思考这个问题时候这样想的：中间元素也就是索引值是整个链表长度的一半，那么必然知道索引长度才能确定中间索引的值，毕竟中间索引值...
2019-01-10 22:18:37
411
原创 数据结构与算法每日一练---2：如何使用 Java 反转一个数组？
如何使用 Java 反转一个数组？反转数组就是讲原先数据的顺序反过来，再放回原先数组中。可以在不额外占用内存空间的情况下进行，思路是对换数组中对称位置的数。@testpublic void reverseArray(int[] array){ int temp = 0 ,temp2 = 0; for(int i = 0; i< array.length/2 ; i++ ){ ...
2019-01-07 22:55:08
171
原创 企业开发中碰到的问题集合
Kafka：Leader 丢失导致的 Consumer 挂起故障解决详细：https://www.codercto.com/a/23873.html （转）
2019-01-03 17:48:56
122
原创 kafka中leader挂掉后重新选举leader过程简介
新leader的选举是由controller来执行。当旧leader挂掉后，controller在zk中的监视器将消息发送给controller，controller开始执行新leader的选举工作。1.首先确认挂掉的节点上有哪些分区，然后到相应的路径中获得分区所对应的已经同步的副本分区（ISR）,然后从中选择一个存活的副本分区升级为leader。这样的优点是新leader的数据和挂掉的分区数...
2019-01-03 17:46:53
6069
2
原创 杂七杂八面试题汇总
1.kafka leader选举机制原理答案：https://blog.csdn.net/yanshu2012/article/details/54894629/ （转）
2019-01-03 16:16:34
160
原创 Java中string对象和数组对象作为参数传递给函数时候是值传递，而其他对象是引用传递。
java中对象作为参数传递一般是引用传递，基本变量传值方式是值传递。但是字符串作为一个对象传递却意外的是值传递。先定义值传递意义：就是讲原先的基本变量或者引用拷贝一份，作为参数传递给函数。特点是当函数里面对该基本变量做修改后只对副本起作用，对原先的基本变量或者引用指向的对象不起作用。引用传递的意义：将对象的引用直接传递给函数，而不是传递副本！这样一来函数对引用的所有改变就是对原先的对象的直...
2019-01-03 16:04:04
2507
2
原创 JavaWeb中POST和GET的区别和联系
针对数据库中数据的操作也就是增、删、改、查。针对网络数据资源的操作也是增、删、改、查。最开始设计对网络资源URL的操作的时候理想的方式是：增----PUT（增加原先没有的资源）删----DELET改----POST（修改原先存在的）查----GET（获取）但使用发现GET和POST都可以实现大部分增删改查的作用，PUT和DELET也就逐渐使用的少。所以现在POST 和GET使用最多。...
2019-01-03 14:42:20
1056
原创 数据结构与算法每日一练---1
问题1：给定一个数值，如何搜索整数数组中加和为该数值的成对元素？容易理解实例：指定数为88，求一个长度为100整型数组中两数之和为88所有情况并列出来，数组中整数取值范围[1,100].思路1：循环从数组中找到两个索引不同数相加后与88比较；时间复杂度O(nCr(100,2));思路2：通过数学知识分析，88由两正整数相加情况本身只有44种情况：1+…2+…3+……43+45...
2019-01-02 21:03:45
237
转载 Java中针对小数据集进行指定值查找的各种方法优劣对比（转）
https://blog.csdn.net/garfielder007/article/details/51946589针对大数据集优先使用hash表来来查找，更进一步使用布隆过滤器来查找。
2019-01-02 20:06:50
167
原创 for,增强for，迭代器3种方式遍历集合的同时修改元素的区别
数据容器List A;1.forfor(int i = 0 ; i<A.length; i++){A.remove(i);}在每次循环时，每删除一次元素后，A就发生了变化。所以每次循环针对的容器是不同的可以简单理解为每次遍历的容器依次是A1、A2、A3、A4、、、、、、由于容器每次都在改变，所以每次A[i]所对应的元素是不一样的。2.增强for循环类似，每次循环时候相当于边删除...
2019-01-02 16:49:43
677
原创 String a ="aa"与String a = new String("aa")之间的区别
String a = “aa”;这句话执行过程是：到常量池中寻找“aa”,1.如果存在，则直接将“aa”对象的地址传递给a;2.如果不存在，则在常量池中创建“aa”,然后将地址传递给a.String a = new String(“aa”);执行过程是：首先在堆内存中创建对象“aa”,然后在常量池中寻找“aa”,1.如果存在，啥事不做；2.如果不存在，在常量池中创建“aa”对象；...
2019-01-02 14:54:57
4546
原创 Java四种访问权限修饰符的通俗理解。
Java语言的一大特性是封装。当把一些属性或者方法封装进了容器–类里面时候，产生这样一种需求，就是想针对不同的量或方法定义不同的访问权限，更加细粒度地维护一个类的封闭程度和私密程度。这个时候四种访问权限修饰符派上用场了。通俗理解，四种访问修饰符类似于Linux系统中不同用户的权限等级。Linux系统中root用户拥有所有权限，类似Java类中的public修饰的类、方法、变量拥有被所有其他XX访...
2019-01-01 21:33:35
1562
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人