自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(127)
  • 资源 (1)
  • 收藏
  • 关注

原创 6. 删除排序数组中的重复项

题:给定一个排序数组,你需要在原地删除重复出现的元素,使得每个元素只出现一次,返回移除后数组的新长度。不要使用额外的数组空间,你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。示例 1:给定数组 nums = [1,1,2], 函数应该返回新的长度 2, 并且原数组 nums 的前两个元素被修改为 1, 2。 你不需要考虑数组中超出新长度后面的元素。代码:...

2018-11-02 21:50:28 145

原创 5.合并两个有序链表

题:将两个有序链表合并为一个新的有序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例:输入:1->2->4, 1->3->4输出:1->1->2->3->4->4代码:class ListNode { int val; ListNode next; ListNode(int ...

2018-11-02 21:48:17 138

原创 4.最长公共前缀

题:编写一个函数来查找字符串数组中的最长公共前缀。如果不存在公共前缀,返回空字符串 ""。示例 1:输入: ["flower","flow","flight"]输出: "fl"示例 2:输入: ["dog","racecar","car"]输出: ""解释: 输入不存在公共前缀。说明:所有

2018-11-02 21:45:48 177

原创 3.罗马数字转整数

题:罗马数字包含以下七种字符: I, V, X, L,C,D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如, 罗马数字 2 写做 II ,即为两个并列的...

2018-11-02 21:44:31 332

原创 2.回文数

题:判断一个整数是否是回文数。回文数是指正序(从左向右)和倒序(从右向左)读都是一样的整数。示例 1:输入: 121输出: true示例 2:输入: -121输出: false解释: 从左向右读, 为 -121 。 从右向左读, 为 121- 。因此它不是一个回文数。代码: public static boolean isPalindrome(int x)...

2018-11-02 21:41:26 374

原创 1.反转整数

题:给定一个 32 位有符号整数,将整数中的数字进行反转。示例 1:输入: 123输出: 321代码: public static int reverse(int x) { int result = 0; try { //先判断正负 StringBuilder flag = new Stri...

2018-11-02 21:39:53 138

原创 8.Scala包和import

一.包//包,平常我们还是想Java那样去使用包package scala{ class Cat{ def eat()={println("cat eat ...")} }}二.访问控制 无任何修饰符:任何地方都可以使用 private[scala]:在定义的类中可以访问,在scala包及子包中可以访问 private[this]:只能在定义...

2018-11-02 20:52:48 1513

原创 7.Scala类与对象(二)

一.单例对象//单例对象/** * 某些场景下,我们可能不需要创建对象,而是想调用方法。像Java就是通过调用静态方法实现的创建对象。 * 但是,Scala不支持静态成员。Scala通过单例对象解决该问题。 */object Phone { private var pid:Int = 0 def uniqueId()={ pid += 1 pid } ...

2018-11-02 01:26:17 148

原创 6.Scala类与对象(一)

一.类和对象的创建与使用class Person { //类成员必须初始化,否则报错 //这里定义的是一个公有成员 var name:String = null}object Test { def main(args: Array[String]): Unit = { //创建对象 val p = new Person() //调用setter...

2018-11-01 21:46:37 149

原创 0.Scala安装及配置开发环境

一.Scala介绍Scala 是 Scalable Language 的简写,是一门多范式的编程语言。Scala 特性 面向对象特性:Scala是一种纯面向对象的语言,每个值都是对象。对象的数据类型以及行为由类和特质描述。类抽象机制的扩展有两种途径:一种途径是子类继承,另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。 函数式编程:Scala也是一种函数式语言,其...

2018-11-01 20:19:21 196

原创 5.Scala函数

package scalaobject FunctionTest { def main(args: Array[String]): Unit = { /** * def max(x:Int,y:Int):Int = { * if(x > y) * x * else * y * } */ //1.值函数 //函...

2018-11-01 18:11:10 144

原创 4.Scal集合

package scalaobject CollectionTest { def main(args: Array[String]): Unit = { /** * scala中的集合分为两种,一种是可变的集合,另一种是不可变的集合 * 1.可变的集合可以更新或修改,添加、删除、修改元素将作用于原集合 * 2.不可变集合一量被创建,便不能被改...

2018-11-01 18:10:04 336

原创 3.Scala列表

package scalaobject ListTest { def main(args: Array[String]): Unit = { //1.创建List val fruit = List("Apple", "Banana", "Orange") val fruit1 = List.apply("Apple", "Banana", "Orange"

2018-11-01 18:09:22 122

原创 2.Scala数组

package scalaobject ArrayTest { def main(args: Array[String]): Unit = { //1.定长数组Array //一种定长数组定义方式 //复杂对象类型在数组定义时被初始化为null,数值型被初始化为0 val numArr = new Array[Int](5) val strArr ...

2018-11-01 18:08:24 265

原创 1.Scala基础

package scalaobject BaseTest { def main(args: Array[String]): Unit = { /** * 在 Scala中,使用关键词 "var"声明变量,使用关键词 "val"声明常量。 */ //基本类型 println("Hello World!") val x = 0x29 ...

2018-10-31 10:06:08 126

原创 3.Kafka API应用

一.项目环境搭建<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xs...

2018-10-26 22:38:44 177

原创 2.Kafka_Zookeeper集群搭建

在同一台机器上搭建zk集群和kfaka集群。一.Zookeeper集群搭建1.创建zk安装目录[root@master ~]# mkdir -p /opt/server/zookeeper/server1/data[root@master ~]# mkdir -p /opt/server/zookeeper/server1/dataLog[root@master ~]# mkdi...

2018-10-26 22:38:20 224

原创 1.Kafka概念,架构

一、为什么需要消息系统1.解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2.冗余消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。3.扩展性因为消息队列解耦了你...

2018-10-26 22:37:10 280

原创 1.Flume概念,功能,架构

1.Flume介绍Flume是一种分布式、可靠且可用的服务,用于有效地收集、聚合和移动大量日志数据。它是基于流数据的灵活架构。它具有高可靠性机制和许多故障转移及恢复机制,具有强大的容错能力。它使用简单的可扩展数据模型,允许在线分析应用程序。2.Flume架构Flume-ng只有一个角色的节点:Agent角色。Agent角色有Source、Channel、Sink组成。So...

2018-10-26 03:44:53 497

原创 8.HBase_应用_集成Hive

1.HBase与Hive集成配置HBase与Hive集成:Hive数据存储在HBase、Hive表的描述信息存储在Hive。因为,Hive是高延迟的,而HBase是低延迟的。我们集成的目的就是利用HBase的优势。 集成Hive创建表的方式:(1) 管理表 - Hive数据存储指定在HBase上。(2) 外部表 - 现有一个HBase表,需要对表中数据进行分析。 实际上,Hive成了HB...

2018-10-24 19:58:41 579

原创 7.HBase_应用_表设计

HBase的namespace中存放tables。默认情况下:default:未指定命名空间创建的表,都在此命名空间下存放。 hbase:系统的命令空间,主要存放:meta表、命名空间。 1.多个列族和设置属性# 创建命名空间create_namespace 'ns1'# 查看命名空间list_namespace# 创建表# create 'ns1:t1',{N...

2018-10-24 00:29:17 214

原创 6.HBase_应用_常用数据迁移方式

一般情况下,我们的数据来源是:RDBMS或日志文件。数据迁移常用方式:使用HBase Put方式、HBase自带MR方式、bulk load工具方式。Java API操作HBase Put、自定义HBase MR两种方式,我们在前面已经使用过了,重点看一下importtsv、bulk load方式。1.HBase使用importtsv导入数据实际上类似与我们自己写的mapredu...

2018-10-24 00:28:48 217

原创 5.HBase_应用_MapReduce

使用MapReduce操作HBase表数据,比如实现HBase数据迁移,从一个表抽取数据导入另一个表。1.首先,我们新建maven项目,并导入hbase相应的依赖包<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:...

2018-10-24 00:27:33 206

原创 4.HBase_基础应用Java API

使用Java调用HBase的常用操作。首先,新建一个Maven项目,导入HBase依赖,编写Java操作HBase的工具包。1.新建Maven项目,导入HBase相关依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...

2018-10-24 00:25:51 121

原创 3.HBase_基础应用Shell

我使用Ambari安装的Hadoop集群及扩展组件,其中包括:HDFS、MR、Yarn、ZK、Hive、HBase等。后续有时间会补上Ambari和CDH安装管理Hadoop集群的博文。1.开启HBase Server因为HBase数据存储在HDFS上,元数据由ZK管理。因此,首先在Ambari管理页面打开HDFS、ZK、HBase服务(其他服务就不打开了,电脑内存消耗太大)。也可...

2018-10-24 00:25:21 166

原创 2.HBase_存储与读写流程

我们看到HBase集群的物理模型,包括:Client、ZooKeeper、HMaster、HRegionServer、HLog、HRegion、Store、StoreFile、MemStore。对于HBase,它的元数据存放在ZooKeeper中,真实数据存放在MemFile(内存)和StoreFile(HDFS)中。一. 写数据过程(1) Client先把数据写入到HLog中。(HL...

2018-10-23 11:00:39 292

原创 1.HBase_工作原理

1.HBase介绍HBase是一种Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库。利用Hadoop HDFS存储HBase的数据文件,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为HBase分布式协同服务。主要用来存储非结构化和半结构化的松散数据。2.HBase数据模型 RowKey ...

2018-10-23 10:58:56 570

原创 05.Docker学习_Docker命令

05.Docker学习_Docker命令

2018-10-22 13:44:34 126

原创 04.Docker学习_Docker实例

04.Docker学习_Docker实例

2018-10-22 13:44:11 140

原创 03.Docker学习_Docker使用

03.Docker学习_Docker使用

2018-10-22 13:43:39 487

原创 02.Docker学习_docker安装

02.Docker学习_docker安装

2018-10-22 13:42:55 154

原创 01.Docker学习_介绍

01.Docker学习_介绍

2018-10-22 13:42:06 141

转载 《码农翻身》

大话编程我是一个线程我是一个Java classJavascript: 一个屌丝的逆袭Java:一个帝国的诞生JSP:一个装配工的没落TCP/IP 之 大明王朝的邮差TCP/IP 之 大明内阁TCP/IP 之 蓟辽督师CPU 阿甘CPU 阿甘之烦恼CPU 阿甘:函数调用的秘密我是一个网卡我是一个路由器我是一个进程我是一块硬盘(上)我...

2018-10-20 10:25:47 8627 1

转载 Docker详细教程

一、Docker 简介 Docker 两个主要部件: Docker: 开源的容器虚拟化平台 Docker Hub: 用于分享、管理 Docker 容器的 Docker SaaS 平台 -- Docker Hub Docker 使用客户端-服务器 (C/S) 架构模式。Docker 客户端会与 Docker 守护进程进行通信。Docker 守护进程会处理复杂繁重的任务,例如建立、运行、发布你...

2018-10-20 10:20:33 1720

原创 8.MR应用_经典习题

1.黑名单过滤package cn.tl.mr;import java.io.ByteArrayOutputStream;import java.io.IOException;import java.util.Arrays;import java.util.HashSet;import java.util.Set;import org.apache.hadoop.conf.C...

2018-10-18 09:57:26 466

原创 4.MR应用_HDFS文件格式

Hadoop中的文件格式大致上分为面向行和面向列两类: 面向行:同一行的数据存储在一起,即连续存储。SequenceFile,Avro Datafile。采用这种方式,如果只需要访问行的一小部分数据,亦需要将整行读入内存,推迟序列化一定程度上可以缓解这个问题,但是从磁盘读取整行数据的开销却无法避免。面向行的存储适合于整行数据需要同时处理的情况。 面向列:整个文件被切割为若干列数据,每一...

2018-10-16 18:38:38 2862

原创 4.Yarn源码分析_****

4.Yarn源码分析_****

2018-10-15 20:46:22 133

原创 3.Yarn应用_API

一.写一个简单的Yarn应用1.Yarn Client// Client通过RPC获取app id// 初始化并启动YarnClientYarnClient yarnClient = YarnClient.createYarnClient();Configuration conf = new Configuration();yarnClient.init(conf);yarnC...

2018-10-15 20:46:14 2457

原创 2.Yarn基础_工作原理

一.Yarn调度流程1.Client向YARN提交应用程序,其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。2.ResourceManager为Job分配第一个Container,并与Container所在的NodeManager通信,要求NodeManager在这个Container中启动该作业的ApplicationMast...

2018-10-15 20:46:00 706 1

原创 1.Yarn基础_介绍

一.Yarn介绍 Apache Hadoop YARN 一种新的Hadoop资源管理器,为上层提供统一的资源管理与任务调度及监控,提高集群管理效率、资源使用率、数据共享效率。MapReduce已经在hadoop-0.23上进行了全面检修,称之为MapReduce 2.0(MRv2)或YARN。 MRv2的基本思想是将JobTracker的两个主要功能,资源管理和作业调度/监视分成单独的...

2018-10-15 20:45:53 282

领扣刷题简单10道

本文档有10道领扣算法题,附有答案。对刷题面试和学习程序基础的同学非常有用。

2019-02-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除