Druid.Xin

软件工程师之路

排序:
默认
按更新时间
按访问量

安装Chrome Headless遇到的问题

下载地址 https://dl.lancdn.com/landian/software/chrome/m 缺少依赖 warning: 67.0.3396.79_x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 7fac5991: NOKEY e...

2018-06-11 08:39:39

阅读数:221

评论数:0

Linux使用命令备忘

  在使用Centos或Ubuntu时,遇到各种Linux的命令,用到的时候回去查一下语法、参数、使用等内容,但使用过后基本上就忘记了。后面再使用的话,还的继续查找相关文档。 ls命令 ls ls -l ls -ltr du/df命令 du -h --max-depth=1 / df df...

2018-06-10 05:58:47

阅读数:155

评论数:0

HDFS之我遇到的各种问题

Hostname问题 问题描述 Datanode denied communication with namenode because hostname cannot be resolved (ip=xx.xx.xx.xx, hostname=xx.xx.xx.xx) at org...

2018-06-07 20:03:51

阅读数:149

评论数:0

Maven使用各种问题汇总

查找损坏Jar find ~/.m2/repository/ -name "*jar" | xargs -L 1 zip -T | grep error | grep invalid

2018-06-07 14:10:21

阅读数:218

评论数:16

Kafka->SparkStreaming->Hbase【二】

  根据业务需求,将Kafka中数据抽取插入到Hbase中。目前网上可以找到许多相关的文章,这里介绍Github上的一个开源工具。   上一章节讲到选择SparkOnHbase为主要原型,将之修改为我们需要的源代码。这里给出修改之后的源代码,修改之后符合我们的业务需求,并尽量避免引起其他不必要的...

2018-05-16 20:46:26

阅读数:168

评论数:0

Kafka->SparkStreaming->Hbase【一】

  根据业务需求,将Kafka中数据抽取插入到Hbase中。目前网上可以找到许多相关的文章,这里介绍Github上的一个开源工具。 工具地址 Github上搜索结果 选择工具 SparkOnHbase 环境配置 Hadoop: 2.6.0-cdh5.12.1 Spark:...

2018-05-16 20:24:26

阅读数:161

评论数:0

Git CI/CD安装与使用【二】

  在使用Gitlab的公司,使用Gitlab提供的各项功能,实现公司代码的管理、自动化编译同步等,具有非常明显的优势。通Jenkins相比,使用CI/CD可以个性化定制自己的编译内容,并触发执行,无需实现设置crontab配置。   本小节主要是Git-CI/CD配置。 样例配置 ...

2018-05-16 17:51:10

阅读数:159

评论数:0

Git CI/CD安装与使用【一】

  在使用Gitlab的公司,使用Gitlab提供的各项功能,实现公司代码的管理、自动化编译同步等,具有非常明显的优势。通Jenkins相比,使用CI/CD可以个性化定制自己的编译内容,并触发执行,无需实现设置crontab配置。   本小节主要是Git-Runner的安装。 更新repo...

2018-05-16 17:44:39

阅读数:179

评论数:0

Java Queue整理

《Java并发编程 从入门到精通》读书笔记。

2018-05-15 20:26:55

阅读数:140

评论数:0

Java同步辅助类总结

《Java并发编程 从入门到精通》读书笔记。

2018-05-13 11:52:07

阅读数:142

评论数:0

Java安全集合类

《Java并发编程 从入门到精通》读书笔记。 Java集合类非常方便,但适用于现成安全场景下的集合类平常使用的比较少一点,主要是ConcurrentHashMap。

2018-05-13 10:57:19

阅读数:146

评论数:0

Java单例模式的几种写法

《Java并发编程 从入门到精通》读书笔记。 错误模式 该种模式,不安全也不正确 class Test{ private static Test instance; privae Test(){} public static Test getInstance(){...

2018-05-13 10:24:07

阅读数:150

评论数:0

HiveServer遇到一个问题

  基于给开发同学使用与BI用户使用的需求,打算开启HiveServer2服务,集群上面的Hive任务执行、调度,都走HiveServer2方式。之前只有调度任务与开发同学使用,所以使用的是Hive CLI方式,开发同学没有添加权限控制。   使用一段时间之后,发现HiveServer2存在各种...

2018-05-12 09:15:14

阅读数:170

评论数:0

调度工具技术选型与开发参考

  无论是自研调度工具,还是技术选型,都需要实先确定自己的业务需求,今儿根据具体的业务需求进行相关的研究与开发工作。    主要是个人记录日常事物,读者仅供参考。 一、调度工具目标 1、支持依赖配置:任务间依赖 2、支持定时任务与临时任务,灵活配置与启动停止 3、支持分布式运行任务 ...

2018-03-15 11:51:04

阅读数:176

评论数:0

Apache Kylin编译CDH5.12.X

基于业务自动化需求,搭建Apache Kylin用于实时OLAP场景。 一、编译 官方提供的Apache Kylin目前仅支持到CDH5.7,更高版本的没有发布,或测试。针对公司的CDH版本,需要进行相关设置与编译,才能适用于公司的环境。 1、Github获取代码 git cl...

2018-03-07 11:04:09

阅读数:185

评论数:0

CDH Manager开启alert功能

  使用CDH时,需要针对多个项目进行监控,但又不想太麻烦使用专业的监控工具,所以只使用CDH自带的CDH Manager来查看相关的监控参数,并开启邮件告警通知功能。   虽然最终搞定了,但还是需要好好记录下来。 网络端口确定   默认邮件端口是25,所以在确认是否可以发送邮件之前,需要端...

2018-02-28 19:04:11

阅读数:336

评论数:0

记一个Spark模块Hive-thriftserver编译报错

[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) on project spark-hive-thriftserver_2.10: Exe...

2018-02-26 16:53:58

阅读数:222

评论数:0

Ganglia-Spark/Kafka编译与安装总结

Ganglia是一款优秀的监控软件,能够监控节点级别以及组件级别的监控,并且与Nagios配合可以做到监控提示的发送通知功能。 Ganliga安装 预先安装配置 ## 服务器端 yum -y install rrdtool epel-release ganglia-devel g...

2018-02-26 13:21:55

阅读数:214

评论数:0

开源数据流处理

随着公司规模增长,他们的工作流更加复杂,包含更多子处理过程以及带有复杂的依赖关系,这将导致更多监控、问题以及运维工作。如果没有一个清晰的数据血缘关系,可能会引起引用链问题和操作元数据丢失。这就是为什么DAGs、数据流和工作流管理器等产生的原因。   复杂的工作流可以通过DAGs来展现。DAGs就...

2018-01-18 13:43:48

阅读数:383

评论数:0

EasyPR-Java新能源车牌识别

EasyPR中主要涉及到蓝色底牌与黄色底牌的车牌识别,随着新能源车辆的发展,目前已经出现绿色底牌的车牌,因此有必要增加绿色车牌的识别。  EasyPR中关于车牌的识别,已经比较完善,这里主要涉及到三个地方的修改。添加颜色在自定义Color的枚举类中,添加 绿色,修改之后为:public enum ...

2017-10-19 19:41:19

阅读数:906

评论数:4

提示
确定要删除当前文章?
取消 删除
关闭
关闭