linux系统常用的简单操作命令

简介 1.linux系统是程序猿经常会接触的系统,特别是实施、运维工程师等职位,都需要对linux操作要求比较高,但也有很多新入门的工程师并不懂得如何操作一些常用的简单的linux命令,这是非常尴尬的一件事; 2.本篇博客的重点放在:介绍在日常的工作中会接触较多的常用的linux基本命令: ...

2019-05-11 15:19:31

阅读数 61

评论数 0

Hadoop大数据生态:SpringBoot整合hive,使用spring的jdbcTemplate操作Hive

简介 使用开发工具连接hive客户端,整合SpringBoot与Hive的连接,同时进行数据的增删查改; 创建hive连接,放入druid数据库连接池,自动注入jdbctemplate; 开发前提:已经安装hive客户端,可参考博客:阿里云ECS7安装搭建:hive-2.1.1客户端; 版...

2019-05-18 14:39:19

阅读数 6

评论数 0

Hadoop大数据生态:Hive自定义设置连接用户名和密码

简介 当hive客户端搭建起来之后,应用项目远程连接hive需要设置用户名和密码; 由于hive默认的用户名和密码都是空的,所以需要我们自定义用户名和密码; 实践 首先,需要先用java开发工具打包一个jar工具类,用于解析用户名和密码,可直接下载这个jar工具包:hiveAuth.jar;...

2019-05-17 19:17:38

阅读数 24

评论数 0

Hadoop大数据生态:hive与hbase整合

简介 hive和hbase都是基于hadoop大数据生态而衍生的不同的技术,hbase是一种nosql的key/value数据库,主要用于数据的实时查询,速度比较快,而hive主要使用HQL语言运行MapReduce任务,主要用于统计查询,但速度较慢; 两者属于互补的关系,这两种工具可以同时进...

2019-05-17 17:37:19

阅读数 17

评论数 0

阿里云ECS7安装搭建:hive-2.1.1客户端

简介 hive在hadoop大数据生态里面,主要用于hdfs上的数据的统计查询,与hbase形成互补关系,但查询时间会相对较慢; 搭建hive客户端前提环境: 已经安装hadoop集群,可参考上一篇博客:hadoop集群安装搭建; 已经有安装好的mysql数据库(可以是本机也可以是其他服务器...

2019-05-17 11:56:43

阅读数 19

评论数 0

springBoot连接hbase,用java操作hbase,实现增删改查功能

简介 hbase在hadoop的大数据生态里扮演者不可或缺的作用,特别在数据的实时查询方面; 当hbase的分布式集群在linux服务器搭建起来之后,我们需要使用java客户端去连接调用,实现数据的增删查改; 本篇博客整合了springBoot与hbase的连接与调用,版本配置:hadoop...

2019-05-16 17:59:19

阅读数 12

评论数 0

阿里云ECS7安装搭建:hbase1.3.3分布式集群

简介 Apache HBase是一种Key/Value系统,它运行在HDFS之上。和Hive不一样,Hbase的能够在它的数据库上实时运行,而不是运行MapReduce任务; Hbase适合用来进行大数据的实时查询,支持增删查改,但不支持复杂的统计功能,统计功能一般使用Hive; 安装HBa...

2019-05-16 10:47:20

阅读数 21

评论数 0

Hbase总结(四)- Hbase与传统数据库的区别

在说HBase之前,我想再唠叨几句。做互联网应用的哥们儿应该都清楚,互联网应用这东西,你没办法预测你的系统什么时候会被多少人访问,你面临的用户到底有多少,说不定今天你的用户还少,明天系统用户就变多了,结果您的系统应付不过来了了,不干了,这岂不是咱哥几个的悲哀,说时髦点就叫“杯具啊”。 其实说白了,...

2019-05-15 15:26:39

阅读数 15

评论数 0

linux下的缓存机制及清理buffer/cache/swap的方法梳理

一、缓存机制介绍 在Linux系统中,为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返回,如果没有则通过驱动程序直接操作磁盘。 缓存机制优点:减少系统调用次数,降低CPU上下文切换和磁盘访问...

2019-05-15 14:59:48

阅读数 15

评论数 0

centos7服务器(free -h)命令详解

简介 centos7服务器linux命令:free -h,查询当前服务器内存使用状况以及剩余内存状况; 实践 1.如下图: 2.命令详解: total:服务器内存总大小:7.6G used:已经使用了多少内存:3.8G free:未被任何应用使用的真实空闲内存; sh...

2019-05-15 14:48:59

阅读数 42

评论数 0

linux服务器springboot或tomcat项目启动,进行jvm参数调优设置

简介 在实验环境或生产环境中,往往一台linux服务器需要添加启动n个项目,但是项目启动占用的jvm内存默认值基本上都是很大的,800m到2G都有,这样很容易将服务器的内存吃垮,从而导致系统强制oom(内存泄露),不留任何情面; 所以,我们在部署项目的时候需要进行jvm参数的调优设置,保证内存...

2019-05-09 16:50:02

阅读数 56

评论数 0

阿里云ECS7安装搭建:hadoop2.7.6分布式集群

简介 hadoop是一个分布式系统基础架构,是大数据生态的一个总称; 核心设计包括:HDFS和MapReduce,HDFS为海量数据提供了存储,而MapReduce则为海量数据提供了计算; 本篇博客则主要描述在阿里云服务器下部署hadoop集群 环境准备 两台阿里云服务器(实验环境,正...

2019-05-07 16:41:27

阅读数 61

评论数 0

Hadoop名词详解:HDFS、NameNode和DataNode

概览 首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本...

2019-05-06 19:59:51

阅读数 22

评论数 0

HBase shell 命令介绍

HBase shell是HBase的一套命令行工具,类似传统数据中的sql概念,可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后,如果配置了HBase的环境变量,只要在shell中执行hbase shell就可以进入命令行界面,HBase的搭建可以参考我的上一篇文章:h...

2019-05-06 19:40:02

阅读数 75

评论数 0

前端页面使用原生js提交get或post请求表单

前言 前端界面一般都可直接在html定义form表单,然后提交表单,使用jquery提交get或者post请求; 然而有种需求就是在不使用jquery的前提下,用原生js提交get或post请求; 实践 原生js一般请求url方式: window.location.href = &quo...

2019-04-29 19:48:17

阅读数 60

评论数 0

Hbase,Hive,Mysql区别与联系

Hive - Mysql Hive mysql 查询语言 HQL SQL 数据存储 HDFS 磁盘上 执行 MR Excutor ...

2019-04-18 18:05:40

阅读数 55

评论数 0

HIVE和HBASE区别

1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它...

2019-04-18 17:42:48

阅读数 58

评论数 0

mysql按天,小时,半小时,N分钟,分钟进行数据分组统计

mysql按天,小时,半小时,N分钟,分钟进行数据分组统计 mysql不同时间粒度下的分组统计 按天统计 按小时统计 按半小时统计 按N分钟统计 按分钟统计 mysql不同时间粒度下的分组统计 我们在做项目或者数据分析时,经常遇到这样的需求:统计不同时间粒度下的数据分布情...

2019-04-03 10:40:37

阅读数 68

评论数 0

JWT加密以及解密工具类(简洁版)

简介 JWT,JSON WEB TOKEN,是一种用于双方之间传递安全信息的简洁的、URL安全的表述性声明规范; 该工具类可快速实现jwt秘钥的加密和解密,适用于初学者快速入手; 项目实践 package com.sixmonth.micro.serv.page.common.jwt; ...

2019-03-22 10:31:43

阅读数 136

评论数 0

springboot指定访问url接口后缀:*.do或*.action

简介 springboot接口url匹配后缀,例如url访问/test,匹配后缀之后,访问/test.*同样可以; 项目实践 package com.springboot.sixmonth.common.filter; import org.springframework.boot.we...

2019-03-21 20:08:58

阅读数 272

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭