自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(17)
  • 资源 (2)
  • 收藏
  • 关注

原创 Docker环境下搭建ELK

1.拉取docker镜像这里选用7.6.1版本,注意es、kibana、logstash、filebeat版本要保持一致,不然会出现问题分别执行以下四条命令,拉取镜像docker pull docker.elastic.co/elasticsearch/elasticsearch:7.6.1docker pull docker.elastic.co/kibana/kibana:7.6.1docker pull docker.elastic.co/logstash/logstash:7.6.1do

2020-11-12 14:21:40 468 1

原创 用docker的方式搭建禅道

最近换了新的项目团队,由于新团队比较年轻化,考虑到要实行敏捷开发,为了帮助团队建立敏捷化的项目管理,经过调研之后,我选择了目前比较受欢迎的开源项目管理软件:禅道,这是一款国产的优秀开源项目管理软件,基于敏捷项目管理理念开发而成,操作简洁,能够很好地满足目前团队中的产品、开发、测试等人员的使用。同时,被告知测试服务器是个临时的服务器,可能要考虑后期的数据迁移,所以选择了以docker的方式快速部署禅道。1. 查看服务器是否有禅道容器docker ps -a查看所有容器是否存在禅道容器2.从doc

2020-06-23 17:28:40 1247

原创 Spring boot 集成Junit单元测试

单元测试”这个词在不同场景下可能有不同意思。我更偏向于将大家大致理解的“单元测试”称为“开发阶段的自动化测试“。这样就可以体现三个点:一是,这个测试是开发同学自己搞的。开发人员搞定代码后,为新代码添加测试,并且保证新老测试都能通过,才能提测。开发同学不能将满是bug的代码就丢给测试同学。二是,这个测试是自动化的,不是“手工调用接口做一次测试“那种形式的。并且执行起来要非常简单。比如任何人拿到代...

2020-04-21 20:30:12 245

原创 Spring boot 添加admin监控

第一步:添加Euraka注册中心服务并启动成功启动后访问:http://localhost:8761 查看一下注册中心运行情况第二步启动监控admin服务端并访问端口8766输入账号密码admin进入页面第三步:启动要监控的服务端刷新admin监控页面,发现了要监控的服务端端口8765看到了很多监控信息:JVM栈堆信息、日志在线查找下载、http跟踪、线程追踪局限性...

2020-03-04 19:21:34 225

原创 Java开发中的一些小技巧(一)

一、MyBatis 不要为了多个查询条件而写 1 = 1当遇到多个查询条件,使用where 1=1 可以很方便的解决我们的问题,但是这样很可能会造成非常大的性能损失,因为添加了 “where 1=1 ”的过滤条件之后,数据库系统就无法使用索引等查询优化策略,数据库系统将会被迫对每行数据进行扫描(即全表扫描) 以比较此行是否满足过滤条件,当表中的数据量较大时查询速度会非常慢;此外,还会存在SQL ...

2019-11-09 17:18:54 239

原创 CDH环境部署Elasticsearch集群

1.环境说明1.1、linux系统(我这里是centos6.8)1.2、jdk(我这里安装的Java1.8版本)1.3、hadoop平台(我这里使用的cdh搭建的,hive版本为1.1.0)2.安装单节点ES2.1、下载es安装包,去https://www.elastic.co/cn官网下载,因为最新更新到7X版本,所以这里选择6X最后一个版本Elasticsearch 6.7.2下载,...

2019-05-17 15:29:22 4808 2

原创 CDH Hive集成Hbase

1.背景Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统,Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具,将我们的sql操作转换为相应的MapReduce jobs,然后在Hadoop上面运行。HBase全称为Hadoop Database,即HBase是Hadoop的数据库,是一个...

2019-05-16 11:57:18 754

原创 Sqoop导入Mysql数据表到Hbase中

1.在mysql表中创建一个千万条数据的测试表card2.在Hbase中创建对应的test表,指定一个列族infohbase shellcreate 'test','info'3.将mysql数据导入hbase中sqoop import --connect jdbc:mysql://192.168.20.160/test --username root --password 11...

2019-05-15 16:21:44 608 1

原创 CDH常用优化配置项

搜集了CDH常用的hive配置可进行优化的配置项1.hive.metastore.warehouse.dirHive 仓库目录是在 HDFS 中存储 Hive 表格的位置。注意此仓库目录的 Hive 默认值为“/user/hive/warehouse”。2.hive.warehouse.subdir.inherit.perms让表目录继承仓库或数据库目录的权限,替代使用从 dfs umas...

2019-05-13 17:46:27 2589

原创 Hive索引的创建与性能测试

简介Hive支持索引,但是Hive的索引与关系型数据库中的索引并不相同,比如,Hive不支持主键或者外键。Hive索引可以建立在表中的某些列上,以提升一些操作的效率,例如减少MapReduce任务中需要读取的数据块的数量。在可以预见到分区数据非常庞大的情况下,索引常常是优于分区的。需要时刻记住的是,Hive并不像事物数据库那样针对个别的行来执行查询、更新、删除等操作。这些操作依赖高效的索引...

2019-05-10 17:27:09 742

原创 Hive动态分区表的学习测试与总结

数据准备因为创建可以分区的数据表结构很繁琐,所以我直接使用了CDH hue自带的hive测试数据customers表创建步骤,进入hue web 页面,在导航栏提示第二步的时候,创建hive 应用示例,几个经典hive结构表就创建好了查看示例表,发现customers表结构很适合作为分区表,里面的address字段里面的state(州)很适合做分区处理,但是customers并不是分区表,...

2019-05-09 16:50:10 389

原创 HBase Shell基本操作练习

1 基本操作备注:写错 HBase Shell 命令时将光标移动到你要删除的字符上,按下‘Backspace’或者‘Delete’删除,一定要注意Hbase Shell里面删除是删除光标后面的字符,跟linux操作完全相反,一定要注意,刚开始会很不习惯1.1 成功启动HBase之后,想要使用HBase Shell ,得输入命令行:hbase shell 并且控制台成功打印以下信息:1.2 ...

2019-05-08 18:45:38 2636

原创 Hive经典HQL语句练习(二)

26、查询每门课程被选修的学生数:select a.c_id,a.c_name,count(b.s_score) num_coursefrom course a join score b on a.c_id = b.c_idgroup by a.c_id,a.c_name27、查询出只有两门课程的全部学生的学号和姓名:select b.s_id,a.s_name,count(b.c...

2019-05-08 16:02:14 721

原创 Hive经典HQL语句练习(一)

搜集了50个经典SQL语句,以便加强对Hive的理解,包含了基本操作,UDF函数,以及很多常用统计函数,与mySQL写法有一定差别,用来做HQL练习1.数据准备home目录下新建data文件夹存放准备数据mkdir data创建student数据文本vi student.txt添加如下数据:01 赵雷 1990-01-01 男02 钱电 1990-12-21 男03 孙风...

2019-05-08 16:01:28 2836 1

原创 CDH集群hive使用以及性能测试

1.CDH集群里面的Hive角色分配及作用如图所示,Hive主要有三个角色:HiveServer2、Metastore Server、以及代理角色Gateway主要两个服务端守护进程:1、Hiveserver2:支撑JDBC访问,Thrift服务,部署在masternode3节点。2、MetaStore Server:支撑访问元数据库的服务,部署在toolnode1节点。2.Hive内...

2019-05-08 16:00:28 2995

原创 CDH中Sqoop的使用心得

Sqoop服务添加Sqoop版本选择CDH自带两个版本sqoop组件这里选择1.4.6版本也就是sqoop1,1.99.5版本是sqoop2,是半成品,不支持关系型DB到Hive跟Hbase,故不推荐使用Sqoop导入mySql数据到Hive操作1、测试MySQL连接sqoop list-databases --connect jdbc:mysql://192.168.20.160...

2019-05-08 15:59:04 4145 1

原创 CDH5.11.2集群安装部署

1、 主机分配以七台测试虚拟机为例:七台主机名分别为:cm、master1、master2、master3、node1、node2、node3对应的ip为:192.168.138.141 ——192.168.138.1472、修改静态IP因为除cm外都是克隆虚拟机机,所以首先要解决克隆机的静态IP跟主机名更改问题,更改cm为例:vi /etc/udev/rules.d/70-pers...

2019-05-08 15:46:32 471 1

spingboot-admin.zip

spring boot添加admin监控demojar包,可以在本地依次命令行执行java -jar jar包,然后访问端口查看监控情况,执行顺序为:1、eureka-server-0.0.1-SNAPSHOT.jar 2、spring-boot-admin-client-0.0.1-SNAPSHOT.jar 3、spring-boot-admin-server-0.0.1-SNAPSHOT.jar

2020-03-04

mfcku中文软件

从网上找到mfoc的windows中文编译版本,可以暴力破解ic卡

2018-07-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除