2018年09月_根哥的博客

原创 ubuntu: 由unity转gnome3安装出错及解决

最近感觉ubuntu unity桌面体验不够好, 开机启动慢, 运行时还听流畅, 一休眠后唤醒又需要好一阵时间, 加之, 在linux公社中看到了gnome3的推荐文章, 说linux之父tovals也使用了gnome3, 于是开始更换桌面, 却没想出现了大的故障–桌面是换成功了, 但是安装到最后报错了sudo add-apt-repository ppa:gnome3-team/gnome3-...

2018-09-28 10:45:42 858

原创 hive分析函数篇：函数高级

hive与关系型数据库hive函数hive优化: 表设计, mr作业part1: hive对比关系型数据库hive: 基于Hadoop的一个数据仓库工具，将结构化的数据文件映射成一张表，并提供类sql语句的查询功能, 使用Hql作为查询接口，使用HDFS存储，使用mapreduce计算mysqlhive存储位置本地文件系统hdfs文件系统表文件存储形式...

2018-09-27 21:27:12 1591

原创版本控制工具: git (代码上传,下载)

如何使用git 命令行 idea中使用git图形化插件part1: git 历史简介什么是git ? 由linux社区开发的, 一种分布式的, 版本控制系统什么是版本控制系统 ? 一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统(有了版本控制系统: 你就可以将某个文件回溯到之前的状态，甚至将整个项目都回退到过去某...

2018-09-25 21:48:04 549

原创 map-reduce（job提交过程，远程调试)

mapreduce 的job远程调试 mapreduce的job提交、运行过程part1: mapreduce 的远程调试继续上一篇博客的 map-reduce实现map端join，部署到集群后如何调试？第一步：server端配置（hadoop文件）1, 要打包项目module为jar包, 上传到hdsf (此处我使用ubuntu , jar包放在家目录下)，2, 再配...

2018-09-24 12:23:13 696

原创 map-reduce实现（map端join， reduce端join）

map-reduce实现hive的join全外连接查询 (大表 +小表）假设有订单表orders，用户表customers, 存在大表+小表的关系，则可以使用sql的优化: 使用map端join现在的问题是，如何使用map-reduce 自己实现: map端的 full outer join ? reduce端的full outer join ?part1: map端...

2018-09-24 09:07:17 1132

原创 java增强: ssm框架整合

整合思路: 各组件的关联配置整合 ssm使用: jsp + jstl + servlet = mysql 的crud ( 用户信息分页管理 )part1: 整合ssm第一步: 使用idea 新建module: java web---> add framework support: maven---> 管理依赖jar包,修改pom.xml ...

2018-09-19 13:46:01 1190

原创 java增强： spring框架

基本概念：起源，优点基本使用整合mybatis框架Spring: 是一个开源的轻量级容器框架（包含并管理应用对象的配置和生命周期，javabean的创建方式可配置为prototype 或singleton ) 提倡的编程思想是：控制反转(IoC), 面向切面(AOP)Spring 的起源：Rod Johnson 在2002年编著的《Expert one on one J2EE ...

2018-09-17 19:42:04 490

原创 java增强： mybatis框架

mybatis简介如何使用：入门级进阶教程MyBatis ，持久层框架，以XML 或注解的方式，将接口和 Java 的 POJO(Plain Old Java Objects,普通的 Java对象)映射成数据库中的记录。part1: 初步配置使用（使用 idea + maven)第一步：创建一个module, java --> 添加maven 支持，在po...

2018-09-16 20:42:43 483

原创 java增强： jvm内存模型

jvm存储模型：堆，栈，方法区.... jvm各区域内存：调配控制 jvm内存的动态分配，回收， (对象的创建，垃圾回收gc） jvm性能监测工具： jconsole, jvisualvm, jmap (gc监测工具：jstat) JVM (Java Virtual Machine, 它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能...

2018-09-15 16:45:31 874

原创 java增强：反射机制，内省机制

反射机制概念发射的使用场景内省机制的使用part1 ：反射机制( jdk提供的一套api, 用于动态创建对象 )part2: 反射的使用----两个对象间属性值的复制（浅copy: 复制一个对象，会调用构造函数)一个存在继承关系的类：对象的浅copy 代码实现如下1, 定义两个javabeanpublic class Per { //属性...

2018-09-15 13:30:40 474

原创 Java增强：静态代理与动态代理

什么是代理模式？有几种代理模式，代码实现代理模式和装饰模式的区别part1: 代理模式的概念代理模式：不改变源码的情况下，实现对目标对象的功能扩展，对代理的对象施加控制，并不提供对象本身的增强功能（装饰模式为所装饰的对象增强功能，组织结构类似于静态代理，但‘同途梳归’，两个目的不同）part2: 代码实现（动态代理）A, 定义接口inter...

2018-09-15 11:32:13 469

原创 flume：日志收集工具

多路复用：一个 source ----->多个 (channel----sink) 故障切换: 一个（source ---channel） ---->一个sink组(多个sink ) 常用sink配置： hdfs,hive,hbase多路复用：（ Multiplexing the flow ）官方解释为：一个source的数据...

2018-09-08 13:51:33 1559

原创 java数据结构：统计5亿数字去重后的个数（byte数组标记数字）

面试题：内存为300M, 设计一个算法，计算5亿int类型数去重后，还有多少个数？/** * //传入5亿个： int 型数据：计算去重后的，数字个数 ===》 * 限制要求：内存仅 300M * * int a: 4byte * 300M -->300*1024*1024byte: 7800万个int ，存放不了3亿个Int ! ...

2018-09-07 21:25:21 1275

原创 java多线程面试题：模拟消费问题

问题1：蜜蜂与熊--- （生产，容器，消费）问题2：和尚与馒头--（消费，管理者）蜜蜂与熊：蜜蜂100只，每只生产力度1，往罐子加蜜，满50停止生产；熊有2个，等罐子满20就吃光所有蜜，请模拟出现的场景？（分析：生产者【蜜蜂】--->同步锁【罐子】--->消费者【熊】）//容器类：充当线程的锁，实现thread同步 ---创...

2018-09-07 20:41:14 520

eyeofeagle的博客