- 博客(8)
- 问答 (1)
- 收藏
- 关注
原创 sqoop数据ETL工具初探
研究背景最近实习项目需要使用到kylin建立数据立方体,kylin是一个基于hive的OLAP系统,主要功能是可以通过预计算的方式将存储在hdfs上的文件设定为多维立方体缓存到HBase中,将需要的查询结果作为数据立方体预先存储在hbase中,是一种以空间换时间的快速查询方法。甲方公司目前使用的是mysql存储数据,并且数据会定期删除。目前需要考虑使用工具将mysql中的数据导入到Hive中,...
2019-05-21 16:36:14
1042
原创 系统性能指标监控工具搭建
同样由于项目需要,在节点上部署了influxdb,Prometheus,Grafana三个工具。若直接使用搭建好的服务器,请登陆101节点,启动三个服务Influxdb:service influxdb startPrometheus:systemctl start prometheus.serviceGrafana:systemctl start grafana-server.se...
2019-05-18 15:32:24
653
原创 ubuntu16.04搭建Rangcher步骤
由于最近项目涉及服务运维,包括对项目的性能指标监控等方面,而项目的多个服务共同部署在K8S集群中,经过多方面考虑使用Racnher用于管理K8S集群。首先Rancher搭建步骤如下搭建环境参考文档:https://rancher.com/docs/rke/latest/en/managing-clusters/Ranchar 2.x 中文文档:https://www.cnrancher....
2019-05-18 15:23:13
822
原创 HashSet与HashMap源码解析
HashSet作为一个散列集,包含了散列集的特点。散列集:链表和数组可以按照人们的医院排列顺序,,但是如果人们想要查看某个指定元素,但却又忘记了他的位置,就需要遍历所有元素,直到找到为止,如果集合包含了很多元素,比那里整个集合需要耗费很长的时间。,如果我们不需要在于元素的顺序,可以通过散列码的方法按照其有利于操作目的的原则组织数据。Set是没有重复元素的集合,将散列码与Set集结合构成Has...
2018-10-20 11:16:32
229
原创 LeetCode:Longest Substring Without Repeating Characters
题目:Given a string, find the length of the longest substring without repeating characters.Example 1:Input: "abcabcbb"Output: 3 Explanation: The answer is "abc", with the length of 3. Example 2:...
2018-10-13 16:47:36
112
原创 HashSet初探
HashSet初探最近在刷leetCode为找工作做准备,刚开始,打算每天一道,顺便写写学习笔记。来源如下一道题目:题目:Given a string, find the length of the longest substring without repeating characters.Example 1:Input: "abcabcbb"Output: 3 Explan...
2018-10-12 12:01:18
145
原创 交通路网数据自动化ETL项目介绍
交通路网数据自动化ETL项目介绍这是最近一年内一直没有脱手的一个项目。只是最近有了一定的想法心得,在此记录一下。项目概述交通路网数据自动化ETL项目主要为了方便路网可视化部分提取所需要的数据。最初的数据是从各个厂商的摄像头传入的,然后由另一个公司(合作伙伴)将最初的数据传入kafka中,然后再由kafka传入impala中。我所做的工作便是从impala中定期提取数据到数据库中,并且对...
2018-09-27 19:48:58
886
2
原创 学习技术需要回顾
常常回想起刘未鹏的《暗时间》一书,讲的是学习技术的方法。让人读后都会觉得像是打了鸡血一般。但真正能够坚持的人又有多少。后来发现,不同的时期在学习着不同的技术,若是没有记录,会发现当初的学习就如白费一般。没有定时回顾的学习,无疑是猴子掰玉米。突然回想起来自己早时创建的博客,如今看来,只要开始着手写,什么都不算晚。...
2018-09-10 21:56:42
191
空空如也
VS2013编译c#的创建文件问题
2015-01-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人