- 博客(20)
- 收藏
- 关注
RSS订阅原创 HBASE CAP理论 架构 搭建 sqoop
CAP理论CAP：一个分布式系统不能同时满足一致性，可用性，和分区容错性C一致性：任何一个读操作总是能读取到之前完成的写操作结果，也就是在分布式环境中，多点的数据是一致的A可用性：每个操作总是能在确定的时间内返回，也不是系统随时都能正常运行P分区容错性：在出现断网情况下，分离的系统也能正常运行BASE（ACID）关系型数据库：一致，隔离，原子，持久BASE是反关系型数据库：牺牲高一致...
2019-12-23 23:16:22
320
原创 HIVE自定义函数的实现
HIVE中的函数分类UDF（一进一出）UDAF （多进一出）（count/max/min）聚合函数UDTF（一进多出）视图自定义函数写法创建一个Maven工程后导入依赖<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</...
2019-12-17 23:09:13
471
原创 Zepplin安装
Apache Zeppelin提供了web版的类似ipython的notebook，用于做数据分析和可视化。背后可以接入不同的数据处理引擎，包括spark, hive, tajo等，原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的，就是来自于当时的demo。Zepplin安装1.解压tar -zxvf2.配...
2019-12-17 22:12:18
368
原创 HIVE：Permission denied: user=hive, access=EXECUTE, inode="/tmp/hadoop-yarn":root:supergroup:drwx----
问题描述在ZEPPLIN执行hive查询时报错：Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=hive, access=EXECUTE, inode="/tmp/hadoop-yarn":root:supergroup...
2019-12-17 20:15:12
2013
1
原创 hive不能删库删表踩过的坑
问题描述：drop table、database 等命令在hive中执行删表删库操作时，没有反应。过很长时间提示报错解决办法：将hive中lib目录下的mysql-connector-java-5.1.0-binjar包更换。...
2019-12-16 20:10:34
479
原创 Hive 的数据类型 内外部表 分区分桶
Hive的数据类型对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。DDL部分创建数据库避免要创建的数据库已经存在错误，增加i...
2019-12-12 00:39:01
257
原创 Hive概念和配置安装
概念解决结构化的数据统计hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供sql查询功能Hive在大数据生态圈中位于数据计算层可以增删查不可改（可追加不可随机改） 因为基于hdfs本质：将HQL转换成MapReduce程序优缺点Hive架构Meta store：元数据包含用Hive创建的database、table等的元信息。元数据存...
2019-12-11 19:46:50
151
原创 MapReduce的详细运行阶段
①②③④map task读文件，通过TextInputFormat读文本切片，一次读一行，返回（key,value）;⑤上一步获取的（key,value）键值对经过map方法逻辑处理成新的（key，value）键值对，通过context.write输出到OutputCollectior收集器shuffle阶段⑥OutputCollectior把手机的（key，value）键值对写入到环...
2019-12-11 18:41:46
510
原创 快速排序代码
public static void quickSort(int[] arr,int low,int high){ int i,j,temp,t; if(low>high){ return; } i=low; j=high; //temp就是基准位 tem...
2019-12-10 23:14:27
2863
原创 hadoop无法使用主机名:50070访问
找到C:\Windows\System32\drivers\etc\hosts这个文件添加虚拟机ip和hostname的映射由于权限问题不能修改可以先复制到另一个地方修改之后移动和替换到源目录然后就可以通过主机名访问了...
2019-12-08 00:10:44
1158
原创 namenode节点起不来java.io.IOException: There appears to be a gap in the edit log. We expected txid 1, bu
解决方法原因：namenode元数据被破坏，需要修复解决：恢复一下namenodehadoop namenode -recover起因:启动namenode时sbin/hadoop-daemon.sh start namenode没有反应并且jps没有显示namenode进程如图去根目录/logs”下查看最新“hadoop-root-namenode-主机名.log”日志文件...
2019-12-07 23:38:56
545
原创 Hadoop结构与完全分布式搭建
Hadoop组成HDFS结构yarn结构MapReduce搭建步骤一.Hadoop搭建需javaJKD首先准备三台安装javaJKD并且配置环境变量的虚拟机环境变量文件：etc/profile二.配置ssh免密登录目的是用shell登陆远程服务，但每个登陆都需要输入密码就非常麻烦，所有需要配置无密配置，需要在NameNode上生成私钥，把公钥发给DataNode在mas...
2019-12-06 15:56:44
175
原创 HashMap的结构以及核心源码分析
文章目录一、HashMap简介1、特点2、结构二、HashMap源码分析1、核心成员变量2、HashMap常量3、构造函数4、设计到的数据结构5、HashMap的常用方法（put、get） （1）put方法三、HashMap为什么要改进使用红黑树一、HashMap简介HashMap是开发中使用频率最高的用于映射（键值对）处理的数据结构，而在JDK1.8中HashMap采用位桶数组+链表+红黑树...
2019-12-04 18:55:21
256
原创 mybatis核心构建
MyBatis的主要的核心部件有以下几个：SqlSession 作为MyBatis工作的主要顶层API，表示和数据库交互的会话，完成必要数据库增删改查功能Executor MyBatis执行器，是MyBatis 调度的核心，负责SQL语句的生成和查询缓存的维护StatementHandler 封装了JDBC Statement操作，负责对J...
2019-12-03 16:28:21
150
原创 Mybatis中resultMap和resultType区别
MyBatis 将配置文件中的每一个mapper 节点抽象为一个 Mapper 接口，而这个接口中声明的方法和跟 节点中的<select|update|delete|insert> 节点项对应，即<select|update|delete|insert> 节点的id值为Mapper 接口中的方法名称。resultType当使用resultType做SQL语句返回结果类型...
2019-12-03 15:56:44
254
原创 servlet生命周期
首先加载servlet的class，实例化servlet，然后初始化servlet调用init()的方法，接着调用服务的service的方法处理doGet和doPost方法，最后是我的还有容器关闭时候调用destroy 销毁方法。1.被创建：执行init方法，只执行一次Servlet什么时候被创建？默认情况下，第一次被访问时，Servlet被创建，然后执行init方法；可以配置执行Serv...
2019-12-03 00:09:48
103
原创 理解mybatis的一二级缓存
一级缓存是基于sqlSession默认开启,在操作数据库时需要构造SqlSession对象，在对象中有一个HashMap用于存储缓存数据。不同的SqlSession之间的缓存数据区域是互相不影响的。一级缓存的作用域是SqlSession范围的，当在同一个sqlSession中执行两次相同的sql语句时，第一次执行完毕会将数据库中查询的数据写到缓存（内存），第二次查询时会从缓存中获取数据，不再...
2019-12-02 23:50:30
226
转载 JKD1.8ArrayList源码分析
ArrayList简介ArrayList 是一个数组队列，相当于 动态数组。与Java中的数组相比，它的容量能动态增长。它继承于AbstractList，实现了List, RandomAccess, Cloneable, java.io.Serializable这些接口。ArrayList 继承了AbstractList，实现了List。它是一个数组队列，提供了相关的添加、删除、修改、遍历等功...
2019-12-02 23:34:25
97
原创 ELK搭建（详细步骤）
首先准备安装包传输到linux下找个目录存放安装elasticsearch-head作为web展示 所以首先安装nodejs 主要是利用npm1安装wgetyum install -y wget2.镜像淘宝下载node-v11wget https://npm.taobao.org/mirrors/node/v11.0.0/node-v11.0.0.tar.gz3.解压tar -...
2019-12-02 14:09:05
3667
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人