自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 HashMap源码解析及常见问题

主要方法解析 package cn.iyhome.hashmap; import java.io.Serializable; import java.util.*; public class MyHashMap<K, V> extends AbstractMap<K, V&...

2019-12-12 11:59:00

阅读数 7

评论数 0

原创 Docker容器

1, 安装docker 安装docker社区版, 以CentOS为例: docker新老版本不兼容, 安装新版本前卸载老版本 yum更新 sudo yum update 安装需要的软件包, yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖...

2019-12-11 21:02:31

阅读数 8

评论数 0

原创 Scala_5

scala-day05 公众号推荐: 菜鸟学Python 机器学习算法与自然语言处理 CSDN 程序猿 程序员头条 程序员大咖 java葵花宝典 码农有道 过往记忆大数据 高效运维 spark学习技巧 大数据猿 map相关操作 var map = Map[String,Int]() ...

2019-10-18 13:43:57

阅读数 9

评论数 0

原创 Scala_4

scala-day04 13.正则表达式 定义一个正则表达式,来匹配邮箱是否合法 参考代码 scala> var str = "119829381@163.com" str: String = 119829381@163.com scala> str.matc...

2019-10-18 13:43:25

阅读数 47

评论数 0

原创 scala_3

scala-day03 方法传入函数参数 scala> def m1(f:Int => Int)={ | f(2)} m1: (f: Int => Int)Int scala> val f1 = (x:Int) => x*10 f1: Int =>...

2019-10-18 13:42:52

阅读数 6

评论数 0

原创 Scala_2

scala_day02 01.学习目标 掌握scala类与object的用法 掌握继承的用法 字符串转Int scala> "2".toInt res0: Int = 2 Map的循环 scala> for(k <- map.keys) pr...

2019-10-18 13:42:20

阅读数 8

评论数 0

原创 Scala_1

Scala 11.方法定义 语法 def methodName (参数名:参数类型, 参数名:参数类型) : [return type] = { // 方法体:一系列的代码 } scala定义方法可以省略返回值,由scala自动推断返回值类型。这样方法定义后更加简洁。 示例 定义递归...

2019-10-18 13:41:10

阅读数 24

评论数 0

原创 RDD算子

Transformation function Explain map(f: T ⇒ U): RDD[U] sc.parallelize(Seq(1, 2, 3)).map( num => num * 10 ) flatMap(f: T ⇒ List[U]): RDD[U] sc...

2019-10-11 17:16:27

阅读数 12

评论数 0

原创 Hadoop总结

Hadoop架构详解请点击:架构图解 Hadoop架构(主从) NameNode active 集群中的主节点,管理元数据,包括文件位置,权限,大小,副本等,周期性接收心跳和块的状态报告信息 NameNode standby 主节点的备用节点,当主节点宕机时,备用节点可以接替主节点工作...

2019-09-22 15:14:43

阅读数 16

评论数 0

原创 zookeeper总结

知识点总结,深入剖心请点击深入浅出Zookeeper. 概念 分布式协调服务框架,主要是用来解决分布式集群中应用系统的一致性问题(ZAB协议)和数据管理管理 本质上是一个分布式文件系统,适合存放小文件 分布式锁 用于控制分布式系统之间同步访问共享资源的一种方式,可以保证系统访问资源的一致性...

2019-09-21 20:38:15

阅读数 24

评论数 0

原创 数据仓库-Hive(一)

数据仓库-Hive 1. 数据仓库 1.1. 基本概念 英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。 数据仓库是存数据的,企业的各种数据往里面存,主要目的是为了分析有效数...

2019-09-19 18:15:59

阅读数 25

评论数 0

原创 集群服务启动/停止脚本

zk start #!/bin/bash echo "****zookeeper starting****" for i in node01 node02 node03 do ssh $i "source /etc/profile;/export/serv...

2019-09-18 20:34:51

阅读数 62

评论数 0

原创 HBase总结

概念 建立在hdfs上,是高可靠性、高性能、列存储、稀疏、易扩展、实时读写的nosql(not only sql)的数据库系统 仅能通过 rowkey和来检索数据,仅支持单行事务 hbase的数据类型都是byte[] 和Hadoop的关系 HBase 列存储 ...

2019-09-18 09:56:25

阅读数 18

评论数 0

原创 Apache Impala

impala概念 cloudera提供的高效率的SQL查询工具,和hive类似,但是执行效率极高,提供实时的查询效果 与hive的最大不同之处在于impala不把sql编译成MapReduce程序运行,而是编译成计划树 但是impala底层依赖于hive,与hive是公用一套元数据存储.所以在使...

2019-09-02 21:13:28

阅读数 8

评论数 0

原创 Hadoop的架构模型

Hadoop 1.Hadoop的介绍 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、2004年谷歌发表...

2019-08-22 13:02:07

阅读数 113

评论数 0

原创 Hadoop-Mapreduce

Hadoop-Mapreduce 1. MapReduce 介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。 Map负责“分”,即把复杂的任务分解为若干个“简单的任务...

2019-08-21 21:01:11

阅读数 25

评论数 0

原创 Hadoop核心(一) 入门

Hadoop 核心-HDFS 1. HDFS概述 1.1 介绍 在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。 HDFS(Hadoop Distributed File System)是 Apache Hadoo...

2019-08-18 21:55:46

阅读数 15

评论数 0

原创 Hadoop核心(二)-HDFS-API操作

1.HDFS 的 API 操作 1.1 配置Windows下Hadoop环境 在windows系统需要配置hadoop运行环境,否则直接运行代码会出现以下问题: 缺少winutils.exe Could not locate executable null \bin\winutils.ex...

2019-08-18 14:50:51

阅读数 22

评论数 0

原创 深入浅出Zookeeper

文章目录Zookeeper1.Zookeeper 的概述2.Zookeeper的特点3.Zookeeper的应用场景3.1 数据发布/订阅3.2 命名服务3.3 分布式协调/通知3.4分布式锁3.5 分布式队列4.Zookeeper的架构4.1 写请求流程5.Zookeeper的选举机制5.1. ...

2019-08-17 00:00:12

阅读数 33

评论数 0

原创 mybatis(一)单表思维导图

2019-08-12 11:54:39

阅读数 55

评论数 0

原创 SSM-Mybatis(一)单表CURD

第1章 SSM的学习路线 第一部分:mybatis(3阶段) 第二部分:spring(4阶段) 第三部分:springmvc(3阶段) 第2章 Mabatis阶段介绍 第一阶段:mybatis的入门+mybatis的基本操作 ​ mybatis环境搭建(xml) ​ * 操作数...

2019-08-12 11:29:40

阅读数 72

评论数 0

原创 SSM-Mybatis(二)多表CURD

未完待续..

2019-08-12 11:28:30

阅读数 56

评论数 0

原创 JDBC原始方法(未封装)

public class JDBCDemo { public static void main(String[] args) { try { //加载驱动 Class.forName("com.mys...

2019-08-11 19:39:04

阅读数 20

评论数 0

原创 Maven初级思维导图

2019-08-11 17:39:33

阅读数 30

评论数 0

原创 Maven-初级

Maven基础 学习目标 能够了解Maven的作用(第一章,1.1) 能够理解Maven仓库的作用(第一章,1.2) 能够理解Maven的坐标概念(第一章,1.2) 能够掌握Maven的安装(第二章,2.1) 能够掌握IDEA配置本地Maven(第二章,2.2) 能够使用IDEA创建...

2019-08-11 17:22:20

阅读数 30

评论数 0

提示
确定要删除当前文章?
取消 删除