- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HBase Shell命令
1.启动HBase shell,=> hbase shell2.查看所有的表集合=> list Note:命令长时可以使用tab键提示3:创建表 create '表名'，'列族(cf)' => create 'student','base' note=>hbase shell中删除命令行 Backspace+ctrl 同时...
2019-09-26 17:14:02
305
原创 Flume实战开发配置
example 1.实际开发中我们常用的是把Flume采集的日志按照指定的格式传到HDFS上，为我们的离线分析提供数据支撑我们使用二个主机进行数据的生产与采集，简单的了写了一个脚本,服务器 hadoop1#!/bin/bash#打印100次文本到dynamic.log文本中for((i=1;i<=100;i++))do echo $i hello,wolrd &...
2019-09-17 17:53:06
418
原创 Flume从入门到上手
第 1 章 Flume 概述 1.1 Flume 定义 :Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。1.2 Flume架构1.2.1 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 ...
2019-09-05 14:20:47
226
原创 window下编译kafka0.10.2源码
github上下载kafka源码https://github.com/apache/kafka/tree/0.10.2jdk:1.8scala:2.11.8gradle 5.0gradle安装很简单，类似配置jdk配置好验证下(之前装的5.0)修改kafka项目中的仓库地址maven{ url 'http://maven.aliyun.com/nexus/...
2019-08-01 15:09:52
879
原创 linux常用命令实操
1 .vi，vim实操1.1 )所有的 Linux 系统都会内建 vi 文本编辑器。Vim 具有程序编辑的能力，可以看做是Vi的增强版本，可以主动的以字体颜色辨别 语法的正确性，方便程序设计。代码补完、编译及错误跳转等方便编程的功能特别 丰富，在程序员中被广泛使用1.2)vi和vim常用的三种模式正常模式: 以 vim 打开一个档案就直接进入一般模式了(这是默认的模式)。在这个模式中...
2019-06-13 15:29:56
653
原创 linux的入门介绍
1.背景介绍1. linux是一个开源、免费的操作系统，其稳定性、安全性、处理多并发已经得到 业界的认可，目前很多企业级的项目都会部署到Linux/unix系统上。2. 常见的操作系统(win7、IOS、Android、Mac)2.linux的应用领域 2.1 个人桌面领域的应用 此领域是传统linux应用最薄弱的环节，传统linux由于界面简单、操作复杂、应用软件少的...
2019-06-13 15:00:58
16843
原创 java类加载器与双亲委托机制详解
先看jvm运行内存结构1.•Java运行时编译源码(.java)成字节码，由jre运行。jre由java虚拟机（jvm）实现。Jvm分析字节码，后解释并执行2.类加载的过程•类加载：类加载器将class文件加载到虚拟机的内存•加载：在硬盘上查找并通过IO读入字节码文件•连接：执行校验、准备、解析（可选）步骤•校验：校验字节码文件的正确性•准备：...
2019-05-11 23:24:48
571
原创 jvm常用监控工具详细介绍 下
使用jvisualvm第一种在jdk安装目录的bin下第二种 win+r 输出jvisualvm 也可直接打开打开->导入->文件类型选择dump->点击你的dump文件案例分析创建list集合 存放user对象死循环创建对象 对象创建在堆 直至内存沾满 爆出内存溢出运行设置vm 参数对内存溢出进行分析可以看到红...
2019-03-03 14:29:34
253
原创 jvm常用监控工具详细介绍 上
环境:centos7.3 jdk 1.8jps(Java Virtual Machine Process Status Tool)是JDK1.5提供的一个显示当前所有java进程pid的命令，可以查询出所有java进程相关的程序。jps用法：参数说明-q：只输出进程 ID-m：输出传入 main 方法的参数-l：输出完全的包名，应用主类名，jar的完全路径名-v：输出j...
2019-03-03 13:27:11
285
原创 scala创建变量自动推断类型
创建scala变量后无法自动生成变量类型1.随便创建变量，然后在最后.var,在点enter就可以了 以idea工具为例子1. 勾选 specify type2. 点击other setting ->default setting -> 很好用的一个小功能吧。。。...
2019-02-26 21:32:01
1496
1
转载 tcp的三次握手与四次挥手详解
关于TCP三次握手四次分手，之前看资料解释的都很笼统，很多地方都不是很明白，所以很难记，前几天看的一个博客豁然开朗，可惜现在找不到了。现在把之前的疑惑总结起来，方便一下大家。先上个TCP三次握手和四次分手的图网上好多都是错的，只能自己画了，一个正确的图的确可以方便理解。 疑问一，上图传递过程中出现的几个字符（SYN,ACK,FIN,seq,ack）各代表什么意思SYN，...
2019-02-19 10:58:12
179
原创 linux常用命令
1.获取上月时间,6位(201801)date -d"`date +%Y%m01` last day" +%Y%m2.导入jdk临时环境变量,只对本窗口有效export JAVA_HOME=/thirdparty/java/jdk1.8.0_111/export PATH=$JAVA_HOME/bin:$PATH3.检测服务器出现大量的close-wait(对方关闭socket连接...
2019-02-15 10:01:04
132
原创 mysql的存储引擎介绍
mysql逻辑架构介绍： 和其它数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎的架构上，插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。1.连接层 最上层是一些客户端和连接服务，包含本地sock通信和大多数基于客户端/服务端工具实现的类似于tcp/ip的...
2018-12-04 23:00:06
157
原创 hive入门与概念介绍
1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射成类似sql中的一张表，并提供类似sql查询功能。查询原理：就是将HQL转换成MapReduce 1 Hive处理的数据存储在HDFS 2 Hive分析数据底层的实现是MapR...
2018-11-19 17:19:11
341
原创 logback配置输出mybatis执行sql
直接在logback.xml配置<logger name="com.项目名称.dao" level="DEBUG"/>name是你项目dao层的路径level是日志级别
2018-11-07 10:41:50
4610
原创 HBase的入门与介绍
第 1 章 HBase 简介1.1 HBase 定义HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。主要用途：推荐画像：特别是用户的画像，是一个比较大的稀疏矩阵，蚂蚁的风控就是构建在HBase之上 对象存储：我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中，一些病毒公司的病毒库也是存储在HBase之中 时序数据：HBase之上有O...
2018-11-01 15:52:43
457
原创 RabbitMq的centos上的安装与启动
1.下载erlang安装，网址：http://www.erlang.org/downloads/20.1下载二进制文件，进行编译2.下载RabbitMqhttp://www.rabbitmq.com/download.html然后把二个文件上传到我们的服务器上。。。3. 安装环境依赖 ：yum install ncurses-devel安装成功。...
2018-10-29 17:22:43
4000
原创 volatile实现内存可见性
volatile实现内存可见性深入来讲：通过加入内存屏障和禁止重排序优化来实现的对volatile变量执行写操作时，会在写操作后加入一条store的屏障指令对volatile变量执行读操作时，会在读操作前加入一条load屏障指令线程写volatile变量的过程1.改变线程工作内存中volatile变量副本的值2.将改变工作内存副本中的值刷新到主内存中区线程读volatile变...
2018-09-28 10:38:32
502
原创 java的内存可见性分析
java多线程之内存可见性共享变量在线程间的可见性Synchronized实现可见性volatile实现可见性 指令重排序 as if -serial语意 volatile使用注意事项Synchronized和volatile的比较1.可见性介绍 可见性：一个线程对共享变量的修改,能够及时的被其他线程看到 共享变量：如果一个变量在多个线程中...
2018-09-07 22:09:04
979
原创 cdh版本的phoneix安装
Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询你的HBase数据。在安装HBase中遇到了很多坑，希望把这篇博客分享给大家可以少走点坑。下载使用对应hbase的版本无法使用 http://mirrors.hust.edu.cn/apache/phoenix/ 报错信息如下：百度，google半天发...
2018-04-02 19:05:59
1203
原创 hbase单节点的安装与启动
Apache HBase简介:Apache HBase™是Hadoop数据库，这是一个分布式，可扩展的大数据存储。当您需要随机，实时读取/写入您的大数据时使用Apache HBase™。该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。Apache HBase是一个开源的，分布式的，版本化的非关系数据库，其模型是在Chang等人的Google的BigTable: 结构化数据...
2018-03-23 15:04:46
4170
1
原创 hadoop的伪分布式在centos下安装
虽然自己搞hadoop也有一段时间了，但是在和网友交流过程中，发现很有朋友对hadoop安装的还是有很大的问题，网上的博客也是乱的一塌糊涂，对新手造成很大的误解，所以自己写篇博客分享给网友，同时也加强自己记忆吧。。。hadoop版本: http://archive.cloudera.com/cdh5/cdh/5/ crtl+F 搜索我们需要的版本准备 ： hadoop（
2018-01-08 13:20:30
354
2
原创 在centos中安装activeMQ
我们的一些服务基本是安装配置在linux中，所以给大家演示一下（需要自带jdk，我就不演示了）activemq的下载地址http://activemq.apache.org/activemq-5140-release.html然后使用使用我们的远程连接工具连接我们的服务器，我使用的xshell，比较方便吧，自带 的ftp传输文件也比较快然后把我们...
2017-11-04 10:41:34
322
2
原创 springmvc整合apache-poi实现数据下载
首页是maven工程，导入maven坐标然后配置springmvc的上传下载的拦截器然后就是我们的jsp页面了然后就是controller了因为service只提供了一个查询所有博客的方法，非常简单就不截图了。看我下载的xls文件希望可以解决新手的问题。。。
2017-11-03 15:26:52
394
2
原创 开发中数据库常见的设计问题
id一般作为主键来使用，一般设计为主键自增，但是根据项目的需求来确定，中小型项目主键自增完全满足了开发需要，但是如果项目慢慢发展演进起来，就不能满足大型网站的扩展一级维护。可以使用varchar.涉及到金额支付类型的使用decimal类型，MySQL中存在float,double等非精准数据类型，也有decimal这种精准数据类型。其区别在于，float，double等非精准类
2017-10-21 14:36:50
588
原创 支付宝的demo使用
因为业务需要，项目需要接入支付宝，小弟也是第一次使用，不对之处，请多多指教。首先我们去百度 支付宝 沙箱环境进入首页 ，会生成我们需要的开发信息appid 支付宝网关rsa2加密推荐等一些信息。然后我们进入 https://doc.open.alipay.com/docs/doc.htm?spm=a219a.7629140.0.0.7YkHWA&treeId=54&art
2017-09-21 11:12:40
4220
1
原创 git简单使用
安装好git，在空文件夹内鼠标右键 git bash hrer ，弹出命令框，然后输入命令git clone 码云项目地址然后提示你输入账号密码git成功导入idea中
2017-09-20 11:15:07
212
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人