学习随记
文章平均质量分 79
我要去你家吃饭
这个作者很懒,什么都没留下…
展开
-
windows10+eclipse neon+hadoop2.6.4(伪分布式)远程连接虚拟机环境搭建
windows64位系统下使用eclipse连接hadoop服务器原创 2017-03-03 00:25:11 · 1596 阅读 · 0 评论 -
Mybatis的参数处理过程源码分析
Mybatis参数处理方式 通常方式 通过POJO传递 通过Map容器传递 通过DTO传递 其他情况 源码分析Mybatis的参数处理过程 Mybatis参数处理方式 通常方式 单个参数,mybatis不会做特殊处理 #{参数名}就可以取出参数值 多个参数,mybatis会做特殊处理 多个参数会封装成一个map key: param1,param2,param3…或者其...原创 2018-08-03 01:57:07 · 936 阅读 · 0 评论 -
HBase基础知识点
HBase 基本概念 存储的是松散型的数据类型 在HBase中行健按照字典序升序存储 基于行健,列键,时间戳建立索引 HBase客户端访问方式包括API、使用HBase Shell访问、通过控制台进行访问 HBase在Hadoop上通过HDFS系统存储底层数据,可实现多机同时读写 HBase是一个稀疏的长期存储的,多维度的,有序的映射表,该表的索引是行健,列关键字和时间戳 HBase 的基...原创 2018-07-15 03:44:55 · 5120 阅读 · 0 评论 -
HBase Java API常用操作
package com.crzmy.hbase.util; import java.io.IOException; import java.util.Arrays; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.h...原创 2018-07-15 03:44:26 · 268 阅读 · 0 评论 -
HBase之过滤器
Filter的执行过程 过滤器在客户端创建,然后通过RPC协议发送到服务器上,由服务器执行 比较器 [su_table] Comparator Description LongComparator Assumes the given value array is a Java Long number and uses Bytes.toLong() to...原创 2018-07-15 03:43:57 · 302 阅读 · 0 评论 -
大数据系统搭建Hadoop+HBase+Spark
1.1 框架介绍 Hadoop是一个开源的框架,可编写和运行分不是应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop的数据来源可以是任何形式,在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能,具有更灵活的处理能力,不管任何数据形式最终会转化为key/value,key/value是基本数据单元。 HBase 不同于一...原创 2018-07-15 03:43:23 · 2915 阅读 · 0 评论 -
Ubuntu14.04+Hive-2.3.2环境搭建
0. 安装Mysql并创建hive用户 运行以下命令 sudo apt-get install mysql-server 使用root用户进入mysql后,执行以下语句。红色部分视自己意愿修改 create user 'hive'@'%' identified by 'hive'; 账号名为hive,’%’表示允许任何访问,密码为hive。 grant all privileges o...原创 2018-07-15 03:42:39 · 783 阅读 · 0 评论 -
Java问题日常随记
本笔记为个人学习思考解惑记录,多方面引用互联网资料,争取每日更新。 若有纰漏,欢迎指正。 2018年07月07日 1. 观察一下代码,说出执行结果(JVM类加载) class A{ static { System.out.print("1"); } public A(){ System.out.print("2"); } } class ...原创 2018-07-15 03:41:16 · 204 阅读 · 0 评论 -
Servlet基础
本笔记为个人学习思考解惑记录,多方面引用互联网资料。 若有纰漏,欢迎指正。 HTTP协议相关 HTTP协议的特征 单向性:客户端和服务端建立连接依靠于客户端发送请求,如果客户端不发送请求,服务端不会主动发送主句到客户端 无状态:HTTP对于事务处理没有记忆能力。无法“断点续传” 灵活:HTTP允许传输任意类型的数据对象。正在传输的类型有Content-Type加以标记 简单快速:...原创 2018-07-15 03:40:46 · 205 阅读 · 0 评论 -
JSP基础
JSP(Java Server Page)基础 Servlet和JSP的相同点 JSP和Servlet从本质上,是相同的技术. 继承结构如下: Created with Raphaël 2.1.2Servlet接口JspPage接口HttpJspPage接口 接口源代码 public interface JspPage extends Servlet { public...原创 2018-07-15 03:37:14 · 148 阅读 · 0 评论 -
Hbase万亿级存储性能优化总结
背景 hbase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对hbase集群服务和应用全面监控的报警系统。总结下hbase优化(针对0.94版本)方面的一转载 2017-09-29 23:00:20 · 808 阅读 · 0 评论 -
Ubuntu 16.04-HBase1.3.1+Hadoop2.6.5 单机环境搭建
1.首先下载hbase 下载地址 :hbase1.3.1-bin.tar.gz 解压到任意目录,例如我的是 /opt/hbase-1.3.1 并为HBase配置环境变量 2.配置HBase cd /opt/hbase-1.3.1/conf/ 2.1. 修改hbase-env.sh sudo vim hbase-env.sh 配置JAVA环境变量 export JAVA_H原创 2017-09-25 21:33:42 · 1069 阅读 · 0 评论 -
Ubuntu搭建Hadoop2.6.5(伪分布式)
1.安装jdk 此步略过,可参考我发布的另一篇文章 2.下载hadoop2.6 hadoop2.6下载地址 3.配置环境变量 输入 vim /etc/profile 命令可打开profile文件(若使用的界面版本可在目录中直接打开此文件) 在文件末尾加入以下信息(命令中不要自行加入空格,否则没法使用) export JAVA_HOME=/usr/lib/jvm/原创 2016-12-12 23:18:03 · 3196 阅读 · 0 评论 -
JDBC 异常排查记录
JDBC 异常排查记录 问题1: JDBC报错 java.sql.SQLException: Unknown system variable ‘query_cache_size’ 原因: 数据库使用的最新版本的MySQL 8,驱动版本过低 解决: 更新依赖包 <dependency> <groupId>mysql</groupId> ...原创 2018-08-22 22:10:33 · 292 阅读 · 0 评论