2020年06月_悟初境

12月 10月 09月 08月 07月 06月 05月 04月 03月

原创 spark jobserver加入认证

如何给jobserver加入认证，本文给一些寻找答案的方式。通过官方文档和示例一般就能够解决了。首先启用shiro认证在你的 conf配置文件里加入：shiro { authentication = on # 推荐用绝对路径 config.path = "shiro.ini"}然后在配置同一个目录加入 shiro.ini文件。查看官方给的模板示例：basichttps://github.com/spark-jobserver/spark-jobserver/blob/mast

2020-06-24 20:55:56 237

原创统计Hive表占用空间大小

首先，Hive的数据是存在HDFS上的，统计Hive表大小就算统计文件的大小。虽然在Hive的管理界面可以看到HDFS文件占用的整体大小，但如何查看每张表占用的空间呢？几经搜索，没有发现hive现成的命令，于是，动手撸一个出来吧。基于python实现下面这部分代码是非常低效的，因为对hive命令不了解，所以走了弯路，但实际上是可行的，20T的文件，共一百多张表，用41个线程跑了2小时才跑完。核心就是：hadoop fs -ls /path# hadoop fs -ls /user/hive/wa

2020-06-20 08:45:42 6697

原创 scala惰性函数

scala惰性函数原生支持惰性，懒加载。回复java的懒加载/** * Java懒加载 */public class LayLoad { private String prop; public String getProp() { if (prop == null) { prop = initProp(); } return prop; } private String initProp

2020-06-14 11:51:11 241

原创 10分钟系列-zookeeper入门

10分钟zookeeper总结。安装配置解压修改配置：zoo.cfg, 修改dataDir启动：bin/zkServer.sh start默认是standalone分布式部署同步安装包在zkData数据目录下创建一个myid文件编辑myid，输入唯一标识，比如2,3,4配置zoo.cfg :# server.A=host1:B:C# A: myid编号# B：数据通信端口# C：选举通信的端口server.2=host1:2888:3888server.3=host2:2

2020-06-13 09:28:36 223

原创 python多线程扫描端口

常用的端口扫描工具：netcatnc -z -v -n IP 10-65535如果简单的一台机器，几个端口没问题，很多台机器就麻烦了。下面是一个多线程扫描的python小程序：使用telnet，默认扫TCP端口#!/usr/bin/env pythonimport telnetlibimport threadingimport queueimport loggingloggers = {}server = telnetlib.Telnet()def get_ip_statu

2020-06-12 21:26:17 547

原创当我想为程序员的生活写本书...

我是一名不知名的作家，全职体验了一年多程序员的生活，于是不忘初心的我想为程序员写本书。陆游曾经说过：“纸上得来终觉浅，绝知此事要躬行”。从我这一年多踏入IT这一行，在国企和互联网企业都干过，这可以算2个极端吧，虽然可以分得很细，比如创业公司、传统转型企业等，但还有大好时光，一定会去体验的。当我气定神闲地打开笔记本，挺直了腰背，深吸一口气，打下了几个大字：这就是程序员的生活还记得小学老师教过一种文体结构吗？--------总分总没错，非常适合本书。列提纲出生活着死去递归拆分形成子结构。

2020-06-09 07:56:05 307

原创如何检测ActiveMQ的死活

最近为了恢复生产和经济，国家希望人们多多消费，为此出台了一系列补贴政策，简单总结就是：买买买走走走吃吃吃玩玩玩但是本文的议题是：如何使用脚本检测ActiveMQ的死活？然后重启。定义死活的概念死得很彻底：pid都没了进程还在，只是不能正常使用，比如发布消息，这种情况有很多原因，比如内存溢出：2020-06-01 23:37:42,480 | INFO | Ignoring no space left exception, java.io.IOException: Java heap

2020-06-06 13:22:17 3128