git 合并两个仓库代码(主仓库合并到分支仓库)

首先说下背景:现在我是从公司主仓库fork到我自己的仓库中,开发完后要先将主仓库代码合并到我自己的仓库中,然后解决冲突后再提pr。 主仓库:company:master 我的仓库:yoyocheknow:master 合并步骤: 1:将主仓库的地址添加到自己本地的远程仓库中 //git remot...

2018-11-08 12:14:00

阅读数 1507

评论数 0

面试TOP K问题

https://mp.weixin.qq.com/s/FFsvWXiaZK96PtUg-mmtEw

2018-09-25 09:55:08

阅读数 122

评论数 0

static、final、this、super关键字总结

https://mp.weixin.qq.com/s/HM-p7Ym4HeVZH_Q93IJOhQ

2018-09-15 10:15:13

阅读数 53

评论数 0

ZooKeeper 概念讲的最清楚的一篇文章

转载于公众号的一片文章: https://mp.weixin.qq.com/s/WNdovBpvJJanJArS2R1emg

2018-09-11 09:50:58

阅读数 67

评论数 0

Redis分布式锁实现秒杀业务(乐观锁、悲观锁)

1、业务场景 所谓秒杀,从业务角度看,是短时间内多个用户“争抢”资源,这里的资源在大部分秒杀场景里是商品;将业务抽象,技术角度看,秒杀就是多个线程对资源进行操作,所以实现秒杀,就必须控制线程对资源的争抢,既要保证高效并发,也要保证操作的正确。 2、一些可能的实现 刚才提到过,实现秒杀的关键点...

2018-08-31 11:51:18

阅读数 491

评论数 0

Spark源码编译及使用

这一篇我们来把Spark环境搭建起来。我们使用编译源码的方式来生成Spark的安装包,为什么不直接用官方的安装包呢?因为我们在使用spark的时候会结合Hadoop来使用,有自己的需求,所以我们使用源码来编译。 首先去官网上来下载源码。 我们选择2.1.0版本。然后解压。spark源码使用...

2018-08-17 10:45:37

阅读数 1291

评论数 0

Spark及生态圈概述

1.Spark概述及特点 先看下官网的描述: Spark:快如闪电般的统一分析引擎。 Apache Spark 是一个专门为大数据集处理的统一分析引擎。有以下特点: Speed Run workloads 100x faster. Apache Spark achie...

2018-08-16 11:53:12

阅读数 1354

评论数 0

Hive了解一下

本文分为5部分: Hive产生背景&Hive是什么? 为什么使用Hive&Hive发展历程 Hive体系架构及部署架构 Hive环境搭建 Hive基本使用 1. Hive产生背景&Hive是什么? MapRedu...

2018-08-10 18:31:21

阅读数 450

评论数 0

Hadoop之 集成Spring的使用

spring有专门支持Hadoop的使用。我们看一下官网的介绍:https://spring.io/projects/spring-hadoop Spring for Apache Hadoop simplifies developing Apache Hadoop by providin...

2018-08-09 20:12:41

阅读数 2333

评论数 0

Hadoop 无法启动NameNode节点。报错: Cannot assign requested address

主要参考了此博文https://blog.csdn.net/zhaobudaofangxia/article/details/69333758的解决方法。 学习hadoop的时候。刚开始nameNode还能启动成功,但是后来不知道为什么突然又无法启动了。通过hadoop/logs的输入日志发现是...

2018-08-05 17:08:41

阅读数 361

评论数 0

Hadoop 之Mapreduce wordcount词频统计案例

首先我们来看一张描述MapReduce运行过程的图。 首先input就是输入文件。 spliting:把文件按行经行拆分。 Mapping:把每行的word进行计数。 Shuffing:混洗。将相同的word分发到相同的节点。 Reduceing:对每个节点的word进行统计。 以...

2018-08-05 16:56:45

阅读数 847

评论数 0

Hadoop 之 YARN

Yarn 是一个资源管理,作业调度的框架。 Yarn产生背景: Hadoop1.x时,MapReduce是Master/Slave架构。一个JobTracker带多个TaskTracker. JobTracker负责资源管理和作业调度。TaskTracker,定期向JobTracker汇...

2018-08-02 16:13:50

阅读数 72

评论数 0

Hadoop之HDFS JavaAPI使用方法

上一篇我们讲到了用shell命令操作HDFS,现在用Java API操作HDFS。 开发工具:Idea+Maven 首先在Idea上创建一个Maven项目:hadooptrain. POM文件如下所示: <?xml version=&quo...

2018-08-02 11:23:20

阅读数 218

评论数 0

Hadoop之HDFS Shell常用命令

HDFS文件系统提供了Shell接口来操作文件,下面我们来写一下常用的shell命令。 ls get mkdir rm put 可以看出基本和Linux命令一样。 ls查看命令的使用:hadoop fs -ls / 可以看到 hdfs里面没有任何东西,现在put进去一个文件。 ...

2018-07-31 19:27:50

阅读数 81

评论数 0

Hadoop之HDFS

HDFS简介: HDFS是设计运行在廉价机器上的分布式文件系统。 HDFS设计目标: 支持硬件故障。硬件故障是常态。一个HDFS实例可能是由成百上千个服务器组成。每一个服务器都存储了文件系统的部分数据,因为有大量的服务器节点,而且每个节点都有一定发生故障的概率,这也就意味着有些节点自始至终...

2018-07-31 09:27:33

阅读数 89

评论数 0

初识Hadoop

What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. 官网描述:hadoop是一个可...

2018-07-30 18:15:22

阅读数 73

评论数 0

2018年5月Java面试总结

5月底面试了一波,但是效果不尽人意。总结一下面试的情况。 面试的公司有阿里,百度,汽车之家,58(两次),链家,36氪。。。 先说问题,下一篇再来总结下答案。 阿里: 1. 了解hashmap吗?介绍一下。是不是线程安全的?concurrentHashmap和hashTable有什么区别...

2018-07-28 10:45:35

阅读数 96

评论数 0

Netty线程模型前言

本章介绍netty的线程模型,在讲netty线程模型之前,我们先自己用Java的NIO模仿netty的线程模型写一个例子。 代码地址:GitHub代码 代码结构如下所示: 我们先看start类: package com.cn; import java.net.InetSocketAd...

2018-07-17 17:04:37

阅读数 67

评论数 0

NIO相关概念介绍:缓冲区Buffer,通道Channel,多路复用器Selector

本篇博文参考书籍《Netty权威指南》。 1、缓冲区Buffer Buffer是一个对象。它包含一些要写入或者读出的数据。在面向流的I/O中,可以将数据写入或者将数据直接读到Stream对象中。在NIO中,所有的数据都是用缓冲区处理。这也就是很多博客说,IO是面向流的,NIO是面向缓冲区的。缓...

2018-07-16 18:16:29

阅读数 231

评论数 0

NIO服务端分析

上篇写到了传统socket ,阻塞I/O的分析。这篇主要写NIO服务端代码。 服务端代码: package NIO; import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuff...

2018-07-15 15:23:50

阅读数 60

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭