自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

留歌__36的博客

我是留歌,这里是留歌36。很高兴被你发现!留歌是一个爱折腾的程序员。如果你也喜欢我的文章,欢迎订阅和关注。谢谢大家~ 我的个人网站: how2s.cn

  • 博客(185)
  • 资源 (3)

原创 Linux 常用命令总结 一直更新【20200729】

写在前面:总结一些自己在工作中常用到的命令,还有就是其余地方学习到的一并整理find - 查找特定的文件:语法:find path [options] paramsfind / -name “nginx.conf”精准查找:指定目录下查找文件,不指定path代表当前目录find -name “nginx.conf”模糊查找:模糊匹配 * 代表0个或多个字符find / -n...

2019-06-03 10:51:11 211

原创 在linux下如何使用yum查看安装了哪些软件包 & yum安装的软件都放到哪个目录下了

问题1: yum安装的软件都放到哪个目录下了答:都放在/var/cache/yum下了问题2: 常常在用yum -y install 软件名,可是真的还不清楚这些sao操作呢//列出所有已安装的软件包yum list installedyum针对软件包操作常用命令:1.使用YUM查找软件包 命令:yum search 2.列出所有可安装的软件包 命令:yum list 3.列出所有可更新的软件包 命令:yum list updates 4.列出所有已安装的软件包 命令:yum l

2020-07-14 18:22:55 356

原创 疫情一码通背后的超大数据仓库设计
原力计划

平台层面 + 上层应用层面上层应用从原来每天100w的调用查询量 ==> 提升到每天2000w次的调用查询量 ;1.目前总计(GaussDB加工集群+GaussDB查询集群)250+个节点,共计 1PB的数据量。2.最大集群的规模108个节点,500TB 数据量3.每天有将近1w张表的数据 入库,30亿条数据进行加工处理–> 来生成疫情防控需要的一些专题数据,去支撑疫情防控平台,每张表平均 30w 条数据?2017年正式上华为的公有云,华为的DWS服务DWS2.0 多模引擎 实..

2020-07-06 10:48:51 148

原创 解决the NTP socket is in use, exiting问题

问题描述:在时钟同步额时候,出现:[root@GaussDB200 ~]# ntpdate ntp1.aliyun.com 5 Jul 01:32:56 ntpdate[2154]: the NTP socket is in use, exiting[root@GaussDB200 ~]# the NTP socket is in use, exiting解决:[root@GaussDB200 ~]# service ntpd stopRedirecting to /bin/systemc

2020-07-05 12:19:28 116

转载 (转载)HCIA-GaussDB 华为认证数据库工程师

// An highlighted block第一、二章主要介绍数据库的发展史,基本概念等内容,第三、四章节主要介绍GaussDB数据库的SQL语法,第...

2020-07-02 15:38:10 459 1

原创 FastDFS+Nginx 搭建文件服务器 【Easy Peasy】
原力计划

写在前面一个业务系统 总有这样那样的文件 需要保存把。有许多第三方的对象存储,什么阿里腾讯的OSS,COS,还有七牛云啥的。当然也是可以选择没错了,但是可能基于数据安全还有公司成本,或许我们搭建自己的文件服务器也是不错的。不过这样也会多出一些运维成本了。这个取舍就看自己了吧,仁者见仁智者见智。话不多说,直接开始吧,如果有什么错误的地方,欢迎指正~ 我也还在不断的学习中,大家一起加油!先来两张架构图:Tracker 就相当于一个主节点,负责管理记录多个Storage节点的元信息。类似于Hadoop

2020-07-01 20:46:03 125

原创 集合 模式匹配 高阶函数 【Scala基础02 不看血亏系列】

写在前面

2020-06-30 20:10:04 40

原创 玩转Notepad++【提高生产力】

写在前面~

2020-06-30 17:38:46 1320

原创 Dataset[Row] 转为Array[String]

写在前面在实际开发中,我遇到一个场景:将源数据读取进来,加载为DataFrame之后,其中一个处理步骤是,需要将某一列的数据单独提取出来作为一个数组,然后传递给后面的udf()函数。需求:读取的是日期字段列,因为在数据仓库中,各个数据表的数据形态是不一致的,每种数据形态都有自己的日期字段,一般来说:比如,快照表我们的日期字段可能是DW_XX_DT。这个就看自己公司如何定义了。我这里遇到的情况是:日期字段列中有空字符串""(读出来是null),还有中文字符"为空",然后还有DW_XX_DT 或 Dw_x

2020-06-29 19:45:06 123

原创 方法 属性 类 继承 【Scala基础01 不看血亏系列】

写在前面最近把Scala一些基础的东西简单复习一下,然后顺便也记录下来,后面就可以直接看自己的笔记了。当然,也希望能够帮到一些刚入门的小伙伴~如果有什么错误的地方,欢迎指正~ 我也还在不断的学习中,大家一起加油!01 函数/方法我后面统一就叫做方法吧,我想任何一门编程语言都有这个玩意把,不管你是python(非编译解释型),Java(混合型),shell(脚本语言)…还是这里的Scala(函数式)。方法的基本定义: 参数列表 def 函数名(x:

2020-06-23 20:54:29 72

转载 学了忘,忘了学的Git

写在前面本文是转自 大佬3y 的文章分享一下三歪的经历刚实习的时候,一直都忙着看各种东西。有一天,我学长说:我看你也学了一些基础了,我们来看看公司的代码吧,看看我们生产环境是怎么做的。于是我学长丢了一个Git链接给三歪https://github.com/ZhongFuCheng3y/3y.git1那三歪做了什么?三歪去IDEA下把这个Git给Clone下来:我用Clone完了以后,我学长又补了一句:这个项目不是用master分支的哦,你切换一下分支。三歪:啥?切换分支?咋整?我忘了。

2020-06-19 09:54:01 69

原创 Node Sass could not find a binding for your current environment: Windows 64-bit with Node.js 12.x

写在前面因为我有在维护一个之前帮别人做的项目,然后,时常可能会有一些小的需求改动。就需要我每次把项目代码拉下来,小小的调试修改。搞不懂,每次我在启动前端项目的时候,总会有这样那样的惊喜~嘿呀,咋搞呢?我又不是专业的前端,我只能见一次尝试解决一下了。可能有的小伙伴也会遇到同样的问题,为了快速过坑 ,我就把我的错误记录下来,希望能够帮助到你。回到主题:错误解析:Node Sass找不到当前环境的绑定,我的node 好像是12,node-sass版本还是适配的node 8 ?是这样样吗?报错中,也说

2020-05-31 09:27:10 93

原创 一文看懂什么是装饰器模式【没有废话,很硬】
原力计划

写在前面前面提到,需要对类功能增强 ,可以使用继承,代理模式,装饰器模式,还有Scala的隐式转换技术。本篇主要介绍一下装饰器模式。那么接下来就开始吧,如果有什么错误的地方,欢迎指正~我也还在不断的学习中,大家一起加油!装饰器扩展功能就是 新增一个装饰器类。装饰器模式1.1 来一个接口:写一个程序员的接口,当然程序员嘛,本质工作当然是写代码了,所以这个接口我们可以定义一个coding的方法。public interface Programmer { void coding();}

2020-05-28 20:26:58 136

原创 一文看懂什么是代理模式【没有废话,很硬】
原力计划

写在前面讲真,我对设计模式其实并没有很深入的了解。这里我想把自己的理解 通过文字的方式表达出来。为啥突然想起写这个文章呢?是因为我在星球里面看见有人提问:其实,我在去年的时候也写过相关的内容,但是没有展开。这里我就一一把自己所知写出来。那么接下来就开始吧,如果有什么错误的地方,欢迎指正~我也还在不断的学习中,大家一起加油!核心:原有对象需要额外的功能,就可以使用代理这项技术代理模式两大类:静态代理透明代理动态代理基于接口的JDK动态代理基于类的CgLib动态代理01静态代理

2020-05-25 20:13:48 142

原创 GaussDB 200单机实例安装使用教程【入门必看】

写在前面GaussDB的产品,最初GaussDB的产品定义有三大产品线系列GaussDB 100、GaussDB 200、GaussDB300,简单介绍下:1)GaussDB 100:主要以OLTP为主。目前该产品已经应用在招商银行。在 2020年6月,将会开源单机版本;2)GaussDB 200:以OLAP为主,兼顾OLTP。该产品以 PostgreSQL 为出发点,面向 MPP 研发,目前已经在工商银行得到上线应用。3)GaussDB 300:以 HTAP 为方向,是企业级分布式HTAP数据库(

2020-05-22 20:34:33 1229

原创 聊聊最近的状态

怎么讲呢,我可能是真的需要通过写博客来提升自己学习的积极性了吧。实话实说,我真的好久没有主动去学习过了。也有可能是最近这段时间刚入职一家新公司,自己还在慢慢的磨合适应?就当是这个原因了吧 ^_^ ^_^ ^_^ 。好吧,我希望自己从今天开始还是能够尽量抽出一些时间来丰富自己吧。在这里立一个flag吧,希望年底之前,我的CSDN博客排名能够进入前1W?好像有点难实现,只希望自己不要荒废本该奋斗的时光吧。再一个,去尝试学习一些剪辑的东西。我也不怕打脸了,再立一个flag,希望自己今年皮皮虾的粉丝能够破50

2020-05-08 19:17:17 81 1

原创 有个原则就是实体类还是controller入参都应该是 包装类型

问题说明我在使用JPA作为项目的ORM框架的时候,在分页查询中,不管咋样使用查询不出来数据,然后发现Hibernate构建的查询SQL中,在where子句中带上了createTime=0这个条件。这样肯定是过滤掉了全部数据了。疑问:为啥这里Hibernate会在SQL中 自动加上这个createTime=0 这个条件呢?很奇怪~~直到我看见 在这里实例化的对象中,对象的createTi...

2020-04-04 12:18:51 168

原创 快速上手完成一个自己的前端框架
原力计划

写在前面作为一个后端程序员,很多时候我们也想自己搞一个炫酷的前端页面出来。无奈专精后端的我们 已经精疲力尽了,但是作为一个程序员。怎能没有一颗全栈的心呢!目前前端比较流行的框架Vue.js,在这基础上有一批成熟的后台系统开源项目。1、element (截止发稿前 start 51.8k)官网:http://element.eleme.io地址:https://github.com/Pa...

2020-04-03 18:22:03 323

原创 Yarn的监控

写在前面这是群里的一个小伙伴抛出的一个问题,因为确实我所了解的,很多小伙伴公司都是将作业跑在Yarn上的。那么这就是大家都会要做的一个 需求了吧。我所预期的,最好是能配一个图形展示的+报警功能。未完待续。。。...

2020-03-23 20:54:16 103

原创 Sqoop 导入数据异常处理

写在前面我在直接下载https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz解压使用会出现几个bug,之前也是出现了,然后也没有来记录一下。现在记录一下.问题1. 第一个,你要把mysql驱动包放在lib目录下。不然会报找不到驱动包的错误问题2. Exception in thread “main” java.l...

2020-02-15 20:38:15 111

原创 Docker 网络相关 (系统学习Docker04)

写在前面/////基于数据包的传输方式网络的分层路由的概念路由器进行路由选路IP地址和路由:公有IP和私有IP私有IP:A类:10.0.0.0–10.255.255.255 (10.0.0.0/8)B类:172.16.0.0–172.31.255.255 (172.16.0.0/12)C类:192.168.0.0–192.168.255.255 (192.168.0.0/16...

2020-02-12 00:48:51 53

原创 Docker 的镜像和容器(系统学习Docker03)

写在前面最为基础重要的两大概念:镜像和容器Docker 底层技术支持:Namespaces : 做隔离pid/net/ipc/mnt/utsControl Groups : 做资源限制Union file systems: Container 和 image 的分层镜像ImageImage的获取方式(1):(1)Build from DockerfileDockerfile 有...

2020-02-12 00:46:14 163

原创 Docker 环境的各种搭建方法 (系统学习Docker02)

写在前面工欲善其事必先利其器看官网:https://docs.docker.com/install/Dcoker 在MAC Windows10 CentOS VartualBox Vagrant 之间能够擦出什么样的火花呢?2.1 Docker for Mac :https://docs.docker.com/docker-for-mac/install/MAC 安装之后包含:Th...

2020-02-12 00:37:38 228

原创 Docker 容器数据 持久化(系统学习Docker05)

写在前面本来是可以将数据存储在 容器内部 的。但是存在容器内部,一旦容器被删除掉或者容器毁坏(我亲身经历的痛,当时我们的大数据平台就是运行在docker容器内,有次停电后,不管怎样容器都起不来。以前的同事也没有将数据映射到外面 。搞得最后我们重新导的数据,痛的领悟啊~~)。再就是如果不将数据映射出来 ,比如要想使用容器内部的web日志,也是比较难搞,反正不就是其它容器/服务不是很方便。大体上...

2020-02-12 00:25:38 93

原创 Liunx操作的一些技巧【生产感悟】

写在前面本文主要是自己在操作类Linux机器的时候,一些我本来不太会不太熟悉的操作。然后在这里记录一下。每一条都是经典。哈哈哈~当服务器上没有vim/vi等,也不太好安装时,要想替换某个文件的内容语法:sed -i “s/搜索内容/替换内容/g” 文件名sed -i "s/upload_max_filesize = 2M/upload_max_filesize = 64M/g" php.i...

2020-02-10 21:31:06 1456

原创 容器技术和Docker的简单介绍(系统学习Docker01)

写在前面后面来不~先来一张经典的图:虚拟机技术 VS 容器技术(docker就是典型代表实现)可以看出:docker不需要我们提供OS的支持,它已经将OS集成在了自己的Docker Engine中。Docker + Kubernets(生产中可能是有上千个容器)k8s:对容器的创建 管理 调度 运维Docker 基础篇第一章:容器技术 与Docker简介第二章:Docker...

2020-02-09 14:03:13 148

原创 windows上Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tm

Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-参照这个开始解决:You will also notice that ...

2020-02-08 22:56:22 295

原创 Linux Root 用户无敌?

场景引入:[root@spark001 ~]# chmod 755 /etc/hostschmod: changing permissions of ‘/etc/hosts’: Operation not permitted[root@spark001 ~]#或想要对文件进行修改时候,都是提示无法操作的,尽管你是root~what? linux 中还有文件是我root不能操作的!解...

2020-01-14 22:39:46 63

原创 安装Cloudera Manager 和 CDH

欢迎使⽤Cloudera Manager–最终⽤户许可条款与条件。勾选欢迎使⽤Cloudera Manager–您想要部署哪个版本?选择Cloudera Express免费版本感谢您选择Cloudera Manager和CDH为CDH集群安装指导主机。选择[当前管理的主机],全部勾选选择存储库集群安装–正在安装选定Parcel假如本地parcel离线源配置正确,则"下载"...

2020-01-10 16:56:29 69

原创 数据库设计那些事儿

逻辑设计一行数据中的每个属性值都叫做分量基于上面几个实体。画出他们的ER图:一对一一对多多对多逻辑设计中使用的一些规范:数据库操作异常与数据冗余第一范式:第二范式:说白了,就是 联合主键中的某一关键字,决定着非关键字的值 ,就不符合二范式第三范式:BC范式:物理设计:选择哪种数据库?大的事务性操作推荐Oracle,Ora...

2020-01-02 10:35:23 79 1

原创 调度平台Rundeck + 配置邮件告警

写在前面常用的调度平台:crontab/azkaban/rundeck/xxl_job/oozie…这些是比较常用的一些调度工具,选择合适自己的即可。Rundeck官网:https://www.rundeck.com/open-sourceGitHub地址: https://github.com/rundeck/rundeck部署安装:前置条件:安装好JDK:比较简单,下载解压,...

2019-12-30 17:36:44 81

原创 Kettle开发流程

前置安装1.安装jdk2.下载kettle,解压,然后运行spoon.bat/spoon.sh 这个文件,一些jdbc驱动包放置在解压后的lib目录下即可。Kettle 开发流程1.创建Kettle资料库(MySQL即可)回到启动界面:admin/admin同时,也是会发现,我们的资料库里面有很多数据库已经创建好了最后保证:...

2019-12-30 09:41:44 63

原创 PyCharm 开发pyspark 应用程序

创建新的空项目:测试一下环境是否ok同时,也是为了配置一下spark环境添加如下两个环境变量:接下来:达到这样,就okIDE开发环境就配置ok了,开始Coding…...

2019-12-26 17:18:21 71

原创 权限管理系统!功能权限?数据权限?

2019-12-26 11:43:58 77

原创 Spark 中 job stage task 关系

写在前面之前在面试的过程中有面到过这个问题,然后在这里简单记录一下。WordCount为例直接执行这个段代码,根据执行结果,进行分析object WCApp { def main(args:Array[String]) = { val conf = new SparkConf().setMaster("local[2]").setAppName("WCApp") va...

2019-12-24 16:52:24 57

原创 企业级生产监控预警平台(实战简介)

写在前面学习这个实战项目也已经过去很久了,本来一直也想以文字的方式将项目中的 点 进行记录下来。有什么问题,欢迎大家一起留言讨论。关于这个系列的 所有文章,有新的想法,我也会及时做更新项目效果主要是想监控生产上的实时日志,日志可以是Linux的系统日志,MySQL数据库的日志,也可以是我们生产项目的业务日志,比如:SpringBoot 项目中打的日志。这些日志都可以作为本项目的原始日志。...

2019-12-17 17:07:34 155

原创 枚举实现单例模式

写在前面单例模式定义: 一个类 只能创建一个实例。使用一个对象来做就不用实例化多个对象!这就能减少我们空间和内存的开销~我们使用静态类.doSomething()和使用单例对象调用方法的效果是一样的啊。没错,效果就是一样的。使用静态类.doSomething()体现的是基于对象,而使用单例设计模式体现的是面向对象。编写单例模式的代码其实很简单,就分了三步:将构造函数私有化在类的内部...

2019-12-11 11:19:37 22

原创 Kafka系列四 之 多分区如何保证数据的有序性

Apache Kafka 消息怎么写?kafka是一个分布式的流消息队列生产者将消息发布到某个主题broker 进行存储消费者 订阅+读数据 从该主题中消息(记录)以序列化字节存储,消费者负责反序列化消息,消息可以具有任何格式,最常见的是字符串,JSON和Avro。JSON 格式的好处与坏处!? √1....

2019-12-09 17:29:56 563

原创 SpringBoot 项目脚手架

写在前面之前也一直很少有写SpringBoot项目相关的文章,今天 准备整理一个我自己初始化SpringBoot项目时的一个脚手架,便于自己后面查阅。因为SpringBoot的约定大于配置,在整合各个组件的时候,我们仅仅写很少的代码就能 整合 跑起来。本文,也仅仅是一个简单的整合,更多个性化配置,更多调优,这个也是自己在工作中慢慢摸索的。如果你有什么更多好的建议或者意见,也可以留言交流。谢谢~...

2019-11-28 11:40:24 165 1

原创 Flume自定义Interceptor

有的时候我们想要对Source的数据做自定义的一些修改操作。我们主要是通过实现Interceptor 接口来达到我们的目的。第一步:我们先使用IDEA创建一个空的maven项目,然后添加一个flume依赖即可。 <dependencies> <dependency> <groupId>org.apache.f...

2019-11-20 17:57:52 88

下载地址vagrant box.txt

由于使用vagrant 进行创建虚机的时候,vagrant 并没有国内源。如果直接使用默认的源进行虚拟机的构建,巨慢~~~~,可以把这个文件下载下来, vagrant box add centos7 centos-7.0-x86_64.box ,完美解决

2020-02-13

基于Spark电影推荐系统-数据表SQL

基于Spark电影推荐系统-数据表SQL

2019-01-10

重庆区县GeoJson文件

重庆区县的GeoJson,下载就可以使用与Echarts绘图

2018-12-05

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除