- 博客(21)
- 收藏
- 关注
RSS订阅原创 centos7.x设置错误的配置文件导致无法开机一直卡着
参照因为错误关闭Selinux导致CentOS7启动失败(进度条卡死，图形界面加载卡死)_一世一生命的博客-CSDN博客对修改的配置文件进行还原即可，比如重新vim 某个文件
2021-12-18 17:43:29
431
原创 ssh远程启动的java进程无法被杀掉
一台客户端机器上的启动脚本.sh中有ssh命令远程连接到另一台服务端机器并在上面启动java进程的场景中，发现在客户端ctrl+c关闭正在运行的脚本，却发现服务端上的java进程没有一起被杀掉，新增ssh参数-t即可同步删除...
2021-03-10 19:50:42
416
原创 TLAB和逃逸分析
逃逸分析：对象创建在栈中，不一定都是在堆中，适用于无并发TLAB：多线程并发中，堆中的一小块内存空间，专属于线程（是空间而不是对象本身，因为对象初始化需要分配内存空间再初始化，这个动作涉及到同步，因此新增了堆中线程空间）这个空间里面创建了对象，对象是线程共享的读取...
2021-02-27 01:16:56
199
原创 final ReentrantLock lock=this.lock
final ReentrantLock lock=this.lock对于成员变量复制给局部变量，除了能提高一丁点效率外，final变量个人比较倾向于是一开始定义为了后面有人接手把这个局部变量重新赋值的误操作
2021-02-23 16:18:59
347
原创 2020-04-24
hivesql新增reduce操作insert overwrite table xxxselect xxx from xxx where distribute by rand()
2020-04-24 14:02:35
102
原创 show create table出来的hive建表语句字段与字段间缺失逗号（,）
例如 show create table haitest出来的建表语句如下CREATEA TABLE haitest(id intcomment '编号'， name string comment '名字 age int co...
2019-06-28 09:31:35
2683
原创 awk切分字符串赋值到一个数组变量
testStr1="y='2019',m='06',d='21',h='12'" 分区字段testArr=(`echo ${testStr1}|awk '{len=split($0,a,",");for(i=1;i<=len;i++) print a[i]}'`)echo ${testArr[0]} 输出y='2019'echo ${testArr[1]} 输出m='06'...
2019-06-21 15:33:13
6290
原创 awk根据正则表达式match截取字符串
变量：testStr = "dt='2019-05-14 00%3A00%3A00.0',file='logserver11-00-00'"目的效果：取出2019-05-14 00%3A00%3A00.0值表达式：echo ${testStr}|awk '{match($0,/([0-9]+(-)[0-9]+(-)[0-9]+( 00%3A00%3A00.0))/,a)} {print a...
2019-06-20 18:07:10
8849
原创 JSONObject和GSON解析json的区别
JSONObjectInterger：如果为""或者null 转为java对象的值统一为null(不是字符串)，如果为非数字的字符串“abc”,输出为0int:如果为""或者非数字字符串"abc",输出为0，如果为null,则抛异常 JSONObject.getString("abc"),如果json字符中没有abc标签，则抛异常,如果abc的值为null则...
2019-06-20 11:25:22
2028
原创 spark的rdd创建临时表的两张方式
都需要变成DataFrame1.val outStructField :Array[Structfield]=DataFrame.schema.fieldsval outSchema :StructType = StructType(outStructField:+ StructType("age",IntegerType,false)) --------这种写法是...
2019-06-20 10:59:22
614
原创 linux硬盘分区及挂载
一.（2T以上硬盘）先对硬盘进行分区1.查看磁盘的大小 fdisk -l2.对sdb磁盘进行分区操作（任何目录下） parted /dev/sdb 提示： GNU Parted 1.8.1 使用 /dev/sdb Welcome to GNU Parted! Type 'help' to view a list of commands. ...
2019-06-20 10:57:43
152
原创 ERROR pool.DruidDataSource: init datasource error com.mysql.jdbc.exceptions.jdbc4.CommunicationsExce
这个错误是连接mysql的时候出错，一般都是jdbc的jar包有问题（版本或者找不到包）我这个问题出现的场景是hadoop集群中新增了几台节点，然后在环境变量classpath里面配置的mysql-connector-java-5.1.23-bin.jar路径是从旧机器上copy过来的（export CLASSPATH=$CLASSPATH:$HIVE_LIB:$SPARK_LIB/mys...
2019-01-23 20:09:42
2389
原创 桥接模式下电脑主机ping不通虚拟机，出现 ：无法访问目标主机。而虚拟机能ping通主机
1.我的状况描述： 主机(win7)ip:192.168.0.103(自动分配)，虚拟机(centos6.7桌面版)ip：192.168.0.105 昨天刚安装好了虚拟机，主机与虚拟机直接都能相互ping通，且能用xshell连接虚拟机（所以网上说的虚拟机和主机的防护墙需要关闭、虚拟机的ip设置成静态ip,并且都与主机ip在同一个网段、还有关闭selinux，这些我...
2018-08-09 16:58:27
24765
7
原创 虚拟机搭建hadoop集群环境准备一
1.准备三个虚拟机（系统centos6.7-x86）,这个ip自己根据主机电脑或笔记本的网关设置 1）主机名：hadoop1,hadoop2,hadoop3 2）分别对应ip:192.168.0.105,192.168.0.106,192.168.0.107，网关是192.168.0.12.修改三个虚拟机的ip为静态ip（vim /etc/sysconfig/n...
2018-08-08 01:31:45
230
原创 git快照与svn文件差异区别
ps:这只是我个人的理解举个例子，一个工程t有两个文件a,b，假设这两个分别存在在磁盘的空间为block1（5k）和block2(3k)，修改了a文件,修改后少了1k1. git快照：保存a文件block1(5k)，生成新a1文件（4k）的block3，这时候版本引用就指向了a1,但是a还保留着， 因为他是上一个版本的数据，后面如果切换到上一个版本的时候，a文件不在就不知道怎么还原...
2018-08-01 14:43:03
1127
原创 git push 出现you are not allowed to upload merges
你本地基于远程分支master上下载的代码工程，修改代码并commit了，而别人也在他电脑本地基于远程分支master上的代码工程上进行commit（修改的内容可以不一样，如果一样那么你pull的时候会有冲突）。这时候就有两个同时进行的分支（你本地提交master、别人本地提交master）,属于分叉，这是你如果pull了代码，本地进行更新并默认merge（合并），然后在push就会出现you a...
2018-03-08 17:56:03
15270
1
原创 随笔--清理系统垃圾脚本
@echo off echo 正在清除系统垃圾文件，请稍等...... del /f /s /q %systemdrive%\*.tmp del /f /s /q %systemdrive%\*._mp del /f /s /q %systemdrive%\*.log del /f /s /q %systemdrive%\*.gid del /f /s /q %system
2018-01-12 17:02:56
219
原创 vncviewer客户端连接服务器失败，报connect:connect refused(10061)
这个问题百度了一下，发现百度说的这个拒绝连接千遍一律都是：1.服务器上的vnc没起来，service vncserver status(查看运行状态)，如果没起来就重新启动service vncserver restart2.进程起来了，ps -ef|grep vnc ,如果有多个进程就kill掉，然后重新启动service vncserver start3. 防火墙没关 以上...
2017-12-21 09:24:31
30230
1
原创 idea第一次打开sbt工程发现工程无法展开看到里面的工程结构
这个问题当初idea窗口报出来的log是Unregistered VCS root detected The directory xxx is under Git, but is not registered in the Settings.百度了一下发现说是idea的git配置问题，但是后来想了一下觉得不是这个造成的，我只是加载工程而已，并没有对它进行用idea进
2017-11-20 14:27:03
465
原创 idea 使用sbt构建工程时错误unresolved dependency: org.scala-sbt#sbt;0.13.8: not found
1.出现场景：在idea中使用sbt构建工程时，
2017-10-31 16:11:39
12231
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人