linux系统常用的简单操作命令

简介 1.linux系统是程序猿经常会接触的系统,特别是实施、运维工程师等职位,都需要对linux操作要求比较高,但也有很多新入门的工程师并不懂得如何操作一些常用的简单的linux命令,这是非常尴尬的一件事; 2.本篇博客的重点放在:介绍在日常的工作中会接触较多的常用的linux基本命令: ...

2019-05-11 15:19:31

阅读数 220

评论数 0

ELK可视化管理工具之:kibana常用操作命令

简介 ELK是三个开源软件的缩写,分别表示:Elasticsearch、Logstash和Kibana,这里主要讲述kibana的基本操作命令; 实践 1.9200访问索引库 2.9100访问非官方管理工具 3.5601访问kibana管理工具 //删除库 DELETE testin...

2019-05-27 10:17:31

阅读数 270

评论数 0

java开发代码工具类(时间戳/随机数/日期等)

简介 java开发代码工具类,提高开发效率,持续更新~ 实践 package com.springboot.sixmonth.common.util; import java.math.BigInteger; import java.net.InetAddress; import java...

2019-05-23 14:36:34

阅读数 44

评论数 0

Linux下Redis的安装和部署

一、Redis介绍 Redis是当前比较热门的NOSQL系统之一,它是一个key-value存储系统。和Memcache类似,但很大程度补偿了Memcache的不足,它支持存储的value类型相对更多,包括string、list、set、zset和hash。这些数据类型都支持push/pop、a...

2019-05-23 10:41:19

阅读数 26

评论数 0

nginx域名反向代理配置(https/负载均衡):nginx.conf

简介 nginx域名反向代理,整合http和https,同时实现iphash的负载均衡配置; 本篇博客展示nginx的配置文件nginx.conf的详细配置; 实践 #user nobody; worker_processes 1; events { worker_conne...

2019-05-23 10:17:32

阅读数 53

评论数 0

Nginx安装手册

前提是搭建yum安装环境,见前面的教程资料 nginx安装环境 nginx是C语言开发,建议在linux上运行,本教程使用Centos6.5作为安装环境。 gcc 安装nginx需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境, 需要安装gcc:yum install...

2019-05-23 10:06:08

阅读数 19

评论数 0

Hadoop之HDFS常用文件操作命令

命令基本格式 hadoop fs -cmd < args > ls  列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls /dir hadoop fs -ls -R /dir --列出hdfs文件系统所有...

2019-05-22 10:57:09

阅读数 25

评论数 0

spark与hadoop集成详解

我们经常被问到如何让spark集成到hadoop生态系统中,如何让spark在现有的hadoop集群中运行,本文的目的就是来回答上述问题。 1,spark主要用于提高而不是取代hadoop栈,从一开始spark就被设计从hdfs中读取存储数据,类似于其他的存储系统,例如Hbase, Amazon...

2019-05-21 09:48:30

阅读数 107

评论数 0

2分钟读懂大数据框架 Hadoop 和 Spark 的异同

简介 谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 首先,Hadoop和Apache Spark两者都是大数据框架,但是各...

2019-05-21 09:30:12

阅读数 25

评论数 0

SpringBoot多数据源配置(hive/mysql)

简介 在项目实践中,同一个项目可能需要整合多种数据源,把分散到各个数据库、数据表的数据都查询统计出来; SpringBoot有默认的数据源配置,本篇博客将整合SpringBoot多数据源配置,包括mysql、hive等,通过jdbctemplate或mybatis进行使用; 版本配置(版本可...

2019-05-20 11:00:42

阅读数 126

评论数 0

Hadoop大数据生态:SpringBoot整合hive,使用spring的jdbcTemplate操作Hive

简介 使用开发工具连接hive客户端,整合SpringBoot与Hive的连接,同时进行数据的增删查改; 创建hive连接,放入druid数据库连接池,自动注入jdbctemplate; 开发前提:已经安装hive客户端,可参考博客:阿里云ECS7安装搭建:hive-2.1.1客户端; 版...

2019-05-18 14:39:19

阅读数 123

评论数 0

Hadoop大数据生态:Hive自定义设置连接用户名和密码

简介 当hive客户端搭建起来之后,应用项目远程连接hive需要设置用户名和密码; 由于hive默认的用户名和密码都是空的,所以需要我们自定义用户名和密码; 实践 首先,需要先用java开发工具打包一个jar工具类,用于解析用户名和密码,可直接下载这个jar工具包:hiveAuth.jar;...

2019-05-17 19:17:38

阅读数 149

评论数 0

Hadoop大数据生态:hive与hbase整合

简介 hive和hbase都是基于hadoop大数据生态而衍生的不同的技术,hbase是一种nosql的key/value数据库,主要用于数据的实时查询,速度比较快,而hive主要使用HQL语言运行MapReduce任务,主要用于统计查询,但速度较慢; 两者属于互补的关系,这两种工具可以同时进...

2019-05-17 17:37:19

阅读数 37

评论数 0

阿里云ECS7安装搭建:hive-2.1.1客户端

简介 hive在hadoop大数据生态里面,主要用于hdfs上的数据的统计查询,与hbase形成互补关系,但查询时间会相对较慢; 搭建hive客户端前提环境: 已经安装hadoop集群,可参考上一篇博客:hadoop集群安装搭建; 已经有安装好的mysql数据库(可以是本机也可以是其他服务器...

2019-05-17 11:56:43

阅读数 60

评论数 0

springBoot连接hbase,用java操作hbase,实现增删改查功能

简介 hbase在hadoop的大数据生态里扮演者不可或缺的作用,特别在数据的实时查询方面; 当hbase的分布式集群在linux服务器搭建起来之后,我们需要使用java客户端去连接调用,实现数据的增删查改; 本篇博客整合了springBoot与hbase的连接与调用,版本配置:hadoop...

2019-05-16 17:59:19

阅读数 88

评论数 0

阿里云ECS7安装搭建:hbase1.3.3分布式集群

简介 Apache HBase是一种Key/Value系统,它运行在HDFS之上。和Hive不一样,Hbase的能够在它的数据库上实时运行,而不是运行MapReduce任务; Hbase适合用来进行大数据的实时查询,支持增删查改,但不支持复杂的统计功能,统计功能一般使用Hive; 安装HBa...

2019-05-16 10:47:20

阅读数 41

评论数 0

Hbase总结(四)- Hbase与传统数据库的区别

在说HBase之前,我想再唠叨几句。做互联网应用的哥们儿应该都清楚,互联网应用这东西,你没办法预测你的系统什么时候会被多少人访问,你面临的用户到底有多少,说不定今天你的用户还少,明天系统用户就变多了,结果您的系统应付不过来了了,不干了,这岂不是咱哥几个的悲哀,说时髦点就叫“杯具啊”。 其实说白了,...

2019-05-15 15:26:39

阅读数 24

评论数 0

linux下的缓存机制及清理buffer/cache/swap的方法梳理

一、缓存机制介绍 在Linux系统中,为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返回,如果没有则通过驱动程序直接操作磁盘。 缓存机制优点:减少系统调用次数,降低CPU上下文切换和磁盘访问...

2019-05-15 14:59:48

阅读数 18

评论数 0

centos7服务器(free -h)命令详解

简介 centos7服务器linux命令:free -h,查询当前服务器内存使用状况以及剩余内存状况; 实践 1.如下图: 2.命令详解: total:服务器内存总大小:7.6G used:已经使用了多少内存:3.8G free:未被任何应用使用的真实空闲内存; sh...

2019-05-15 14:48:59

阅读数 155

评论数 0

linux服务器springboot或tomcat项目启动,进行jvm参数调优设置

简介 在实验环境或生产环境中,往往一台linux服务器需要添加启动n个项目,但是项目启动占用的jvm内存默认值基本上都是很大的,800m到2G都有,这样很容易将服务器的内存吃垮,从而导致系统强制oom(内存泄露),不留任何情面; 所以,我们在部署项目的时候需要进行jvm参数的调优设置,保证内存...

2019-05-09 16:50:02

阅读数 270

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭