- 博客(11)
- 收藏
- 关注
RSS订阅原创 hive操作hbase中的数据
CREATE EXTERNAL TABLE relevance_hbase_emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) STORED BY 'org.apache.ha...
2019-03-29 18:12:30
286
原创 hbase中数据flush,compaction以及region拆分时机
1. 数据的 Flush 过程 当 Memstore 太大了达到尺寸上的阀值，或者达到了刷写时间间隔阀值的时候，HBaes 会被这个 Memstore 的内容刷写到HDFS系统上，称为一个存储在硬盘上的HFile文件。 同时删除 HLog 中的历史数据 至此，我们可以称为数据真正地被持久化到硬盘上，就算宕机，断电，数据也不会丢失了。 有 3 个条件满足任意一个都可以触发 flush: 1.当一个 ...
2019-03-26 19:18:21
429
原创 大数据之Hadoop(入门)
一、安装及hadoop的目录介绍 安装jdk和hadoop tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ sudo vi /etc/profile export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin //hadoop的安装与JDK雷同，需...
2019-03-25 21:27:41
145
原创 大数据经典面试题分享(蚂蚁金服)
一.题目说明： 以下表记录了用户每天的蚂蚁森林低碳生活领取的记录流水。 table_name：user_low_carbon user_id data_dt low_carbon 用户 日期 减少碳排放（g） 蚂蚁森林植物换购表，用于记录申领环保植物所需要减少的碳排放量 table_name: plant_carbon plant_id plant_name low_carb...
2019-03-25 12:28:40
2111
原创 线程的生命周期及状态转换详解
（1）新建状态——（2）就绪状态—（（4）阻塞状态）—（3）运行状态——（5）死亡状态 （1）New：创建线程对象后，该线程处于新建状态，此时它不能运行，和其他Java对象一样，仅仅有Java虚拟机为其分配了内存，没有表现出任何线程的动态特征； （2）Runnable：线程对象调用了start（）方法后，该线程就进入了就绪状态（也称可运行状态）。处于就绪状态的线程位于可运行池中，此时它只是具备了运...
2019-02-26 11:49:38
188
原创 mysql存储过程详解
存储过程详解 Transact-SQL中的存储过程，非常类似于Java语言中的方法，它可以重复调用。当存储过程执行一次后，可以将语句缓存中，这样下次执行的时候直接使用缓存中的语句。这样就可以提高存储过程的性能。 Ø 存储过程的概念 存储过程Procedure是一组为了完成特定功能的SQL语句集合，经编译后存储在数据库中，用户通过指定存储过程的名称并给出参数来执行。 存储过程中可以包含逻辑控制语句和...
2019-01-25 18:13:45
86
原创 Tomcat启动后，web组件加载顺序
web.xml加载过程（步骤）： 1.启动WEB项目的时候,容器(如:Tomcat)会去读它的配置文件web.xml.读两个节点: <listener></listener> 和 <context-param></context-param> 2.紧接着,容器创建一个ServletContext(上下文),这个WEB项目所有部分...
2019-01-23 14:48:10
376
原创 程序员必会的十大算法
算法一：快速排序算法 快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下，排序 n 个项目要Ο(n log n)次比较。在最坏状况下则需要Ο(n2)次比较，但这种状况并不常见。事实上，快速排序通常明显比其他Ο(n log n) 算法更快，因为它的内部循环（inner loop）可以在大部分的架构上很有效率地被实现出来。 快速排序使用分治法（Divide and conquer）策略来把一个串...
2019-01-21 11:44:03
238
原创 Log4J日志整合及配置详解
一、Log4j简介 Log4j有三个主要的组件：Loggers(记录器)，Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别，日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别，并可以在运行时控制日志输出的样式和位置。 1、Loggers Loggers组件在此系统中被分为五个级别：DEBUG、INFO、WARN、ERROR和...
2019-01-17 15:17:51
165
原创 Git文件常见下标符号有关说明
Git文件常见下标符号有关说明 git是一种分布式的版本控制工具。 不用联网也能实现版本控制，很实用。 它是一款现在比较流行的版本控制工具。 git的文件上的图标，可以反映出当前文件或者文件夹的状态。 1、正常的：绿色的对号 2、被修改过的：红色感叹号 3、新添加的：蓝色的加号 4、未受控的（无版本控制的）：蓝色的问号 5、忽略不受控的：灰色的减号 6、删除的：红色的x号 7、有冲突的：黄色的感叹...
2019-01-16 16:58:36
489
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人