自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 js树操作,层级遍历,先序序列化与反序列化

js树操作,层级遍历,先序序列化与反序列化 class TreeNode { /** * 树节点 * @param value */ constructor(value) { this.value = value; ...

2019-03-10 17:14:10 387 0

原创 border-box宽度计算方式

css3 box-sizing定义了两种盒模型: content-box border-box 没有padding-box哦,别瞎猜。 二者区别就是容器的宽度计算方式不同: content-box是块级默认属性,宽度计算方式为: boxWidth=padding-left+padding-ri...

2019-01-05 20:59:26 959 0

原创 es6 实现拖拽类Drag

1.es6 class的使用 之前在Jquery时代,实现拖拽功能都是使用函数直接搞,有了es6中的class,可以很好的封装相关的功能,只要给个ID就可以,想拖谁就拖谁!不过步骤还是老一套。 先在拖拽元素DOM上添加onmousedown事件,获取鼠标点击位置,并添加document的onmo...

2019-01-04 10:44:39 486 0

原创 Redux官网Counter最基本示例的思考

1.不使用redux实现 如果不使用redux,仅仅依靠react去实现Counter功能是极其简单的。代码如下: index.js import React from 'react'; import ReactDOM from 'react-dom'; ...

2019-01-03 11:10:45 143 0

原创 rest接口如何适应jsonp的方案

rest接口如何适应jsonp的方案 我的要做的事很简单,在html中,跨域调用一个rest接口, 后端接口实现使用Node(语言无关),rest接口都是返回json数据的,如果不在页面上进行任何处理,是不可以在页面是使用的。 直接给出方案,前端使用jquery,只需要将dataType改成jso...

2018-12-17 16:39:30 386 1

原创 字节跳动2019届校招笔试题二

2.为了提高文章质量,每一篇文章(假设全部都是英文)都会有m民编辑进行审核,每个编辑独立工作,会把觉得有问题的句子通过下表记录下来,比如[1,10],1表示病句的第一个字符,10表示病句的最后一个字符。也就是从1到10着10个字符组成的句子,是有问题的。 现在需要把多名编辑有问题的句子合并起来,送...

2018-10-18 21:20:50 2693 0

原创 字节跳动2019届校招笔试题

1.世界杯开幕式会在球场C举行,球场C的球迷看台可以容纳M*N个球迷。在球场售票完成后,现官方想统计此次开幕式一共有多少个球队球迷群体,最大的球队球迷群体有多少人。 经调研发现,球迷群体在选座时有以下特性: 同球队的球迷群体会选择相邻座位,不同球队的球迷群体会选择不相邻的座位(注解:相邻包括前后相...

2018-10-18 19:41:16 4908 0

转载 HTTP请求行、请求头、请求体详解

原文地址:https://blog.csdn.net/u010256388/article/details/68491509 引用 学习Web开发不好好学习HTTP报文,将会“打拳不练功,到老一场空”,你花在犯迷糊上的时间比你沉下心来学习HTTP的时间肯定会多很多。 HTTP请求报文解剖&a...

2018-10-08 11:23:54 244 0

原创 shell处理HBase命令的执行结果

shell处理HBase命令的执行结果 方法1生成文件 优点:可以更加详细的处理输出结果文件; 缺点:形成很多结果文件,需要有写入权限 current=`date "+%Y-%m-%d %H:%M:%S"` timeStamp=`date -d "$c...

2018-08-13 15:17:53 1106 0

原创 使用BlockingQueue查找某个文件夹下的所有文本文件中是否包含文字

阻塞队列的使用:public class FileCrawler implements Runnable { private final BlockingQueue<File> fileQueue = new LinkedBlockingQueue<>(10); ...

2018-01-09 17:35:00 211 0

原创 使用原生NIO实现一个echo服务器

tcp的拆包处理使用的是定长解码的方式。 服务器端:public class EchoServer { public static final int port = 8888; public static void main(String[] args) throws IOExce...

2018-01-07 16:42:30 314 0

原创 最新版Spark2.2读取多种文件格式数据

Spark2.0+的文件读取Spark可以读取多种格式文件,csv,json,parque。因此对应就有很多函数与之对应。在Spark2.0以后一般使用SparkSession来操作DataFrame、Dataset来完成数据分析。这些读取不同格式文件的函数就是SparkSession的成员Dat...

2017-12-19 11:35:50 3668 1

原创 java常用位操作

public class TestIndex { /** * 数组越界 * 这个方法是java源码中常用的一个数组越界的判断检测 * 顺便复习一下位操作 */ public static int read(byte[] b, int off,...

2017-12-10 20:42:16 199 0

原创 jvm 判断对象是否已经死亡

如何判断java对象已经死亡?容易想到的就是引用计数算法,就说的是给对象添加一个引用计数器,每当有一个地方引用到他,就加1;引用失效就减1。但是这样做是有问题的。 看下例子:public class ReferenceCountingGC { public Object instace ...

2017-12-08 21:23:21 545 0

原创 使用netty+zookeeper+protobuf实现一个RPC过程

上次实现了一个基于java序列化和阻塞IO模型的RPC过程,效率很低,这次换用NIO来实现。代码有点多,尽量写清楚一点。 这是maven的版本依赖,先放在前面,接下来就可以复制了。。。 <dependency> <groupId>junit&...

2017-12-08 16:40:45 1754 2

原创 用java序列化和阻塞IO模型实现RPC

RPC是远程过程调用,对于java而言,就是两个JVM通信,一个JVM a想要调用另一个JVM b中的类。b把执行结果在发送给a的过程。好,我们就是要来实现这个过程。 两个接口:public interface IDiff { double diff(double a,double b)...

2017-12-04 16:14:07 262 0

原创 遇到一个比较有意思的NIO问题!

关于NIO的ByteBuffer操作很多人都会,但有时候稍不注意就会犯错。比如:private void doWrite(SocketChannel sc, String response) throws IOException { if (response != null &am...

2017-11-30 22:47:36 177 0

原创 使用java解压GZip文件

Java中有可以直接解压gzip文件的输入流。/** * 获取文件名(去掉.gz后缀) * @param path * @return */ public static String getPrefix(String path) { ...

2017-11-29 19:24:00 2525 1

原创 java解归档tar文件

首先要在maven上找到https://mvnrepository.com/artifact/javatar/javatar jar包,下面是坐标:<dependency> <groupId>javatar</groupId> <arti...

2017-11-29 19:18:42 278 0

原创 使用python下载NCDC数据

#!/usr/bin/python # -*- coding: utf-8 -*-import os from ftplib import FTP # ftp 服务器链接 def ftpconnect(): ftp_server = 'ftp.ncdc.noaa.gov'...

2017-11-27 13:28:38 509 0

原创 二元分类中精确度precision和召回率recall的理解

精确度(precision) 是二元分类问题中一个常用的指标。二元分类问题中的目标类 别只有两个可能的取值, 而不是多个取值,其中一个类代表正,另一类代表负,精确度就 是被标记为“正”而且确实是“正”的样本占所有标记为“正”的样本的比例。和精确度 一起出现的还有另一个指标召回率(recall...

2017-11-27 13:26:51 979 0

转载 Cloudera的CDH和Apache的Hadoop的区别

Cloudera的CDH和Apache的Hadoop的区别 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apach...

2017-11-21 15:01:02 511 0

转载 Spark中repartition和coalesce的用法

repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int,shuffle:Boolean=false):RDD[T] 他们两个都是RDD的分区进行重新划分,repartition只是coalesce接口中shuffle为...

2017-11-20 21:44:01 302 0

转载 Spark2.10中使用累加器、注意点以及实现自定义累加器

累加器(accumulator)是Spark中提供的一种分布式的变量机制,其原理类似于mapreduce,即分布式的改变,然后聚合这些改变。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。 累加器简单使用 Spark内置的提供了Long和Double类型的累加器。下面是一...

2017-11-18 18:49:06 1201 0

转载 hbase二级索引

二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性,RDBMS早已支持,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。 这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index...

2017-11-18 18:47:41 8195 0

转载 Spark中Task,Partition,RDD、节点数、Executor数、core数目的关系

作者:王燚光 链接:http://www.zhihu.com/question/33270495/answer/93424104 来源:知乎 梳理一下Spark中关于并发度涉及的几个概念File,Block,Split,Task,Partition,RDD以及节点数、Executor...

2017-11-17 16:35:18 392 0

原创 scala 的密封类

在使用case 类来做模式匹配时,你可能想让编译器帮你确保已经列出了所有可能的选择。那么通常就要将通用超类声明为sealed:sealed abstract class Amount case class Dollar(value:Double) extends Amountcase class ...

2017-11-13 22:47:15 440 1

原创 scala中的隐式类型转换

写一个类测试一下Scala中的隐式转换的用法:class Fraction(n: Int, d: Int) { // def den = d private val den = d; // def num = n 类参数定义为方法或字段都可以 private val num =...

2017-11-13 22:20:40 338 0

转载 深刻理解HDFS工作机制

一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。本篇博文首先对HDFS的重要特性和使用场景做一个简要...

2017-11-13 21:06:12 339 0

原创 Linux下统计当前文件夹下的文件个数、目录个数

1) 统计当前文件夹下文件的个数: ls -l |grep "^-"|wc -l 2) 统计当前文件夹下目录的个数: ls -l |grep "^d"|wc -l 3) 统计当前文件夹下文件的个数,包括子文件夹里的...

2017-11-13 21:04:11 12103 0

转载 Receiver 分发详解

我们前面在 DStream, DStreamGraph 详解 讲到,整个 DStreamGraph 是由 output stream 通过 dependency 引用关系,索引到上游 DStream 节点。而递归的追溯到最上游的 InputDStream 节点时,就没有对其它 DStream节...

2017-11-13 14:09:31 164 0

转载 JobScheduler, Job, JobSet 详解

前面在 Spark Streaming 实现思路与模块概述 和 DStream 生成 RDD 实例详解 里我们分析了 DStreamGraph和 DStream 具有能够实例化 RDD 和 RDD DAG 的能力,下面我们来看 Spark Streaming 是如何将其动态调度的。 在 ...

2017-11-12 22:24:04 243 0

转载 DStream, DStreamGraph 详解

我们在前面的文章讲过,Spark Streaming 的 模块 1 DAG 静态定义 要解决的问题就是如何把计算逻辑描述为一个 RDD DAG 的“模板”,在后面 Job 动态生成的时候,针对每个 batch,都将根据这个“模板”生成一个 RDD DAG 的实例。 在 Spark...

2017-11-12 21:44:06 381 0

转载 Spark Streaming 实现思路与模块概述

一、基于 Spark 做 Spark Streaming 的思路 Spark Streaming 与 Spark Core 的关系可以用下面的经典部件图来表述: 在本节,我们先探讨一下基于 Spark Core 的 RDD API,如何对 streaming data 进行处理...

2017-11-12 20:44:55 405 0

转载 DStream 生成 RDD 实例详解

我们在前面的文章讲过,Spark Streaming 的 模块 1 DAG 静态定义 要解决的问题就是如何把计算逻辑描述为一个 RDD DAG 的“模板”,在后面 Job 动态生成的时候,针对每个 batch,都将根据这个“模板”生成一个 RDD DAG 的实例。 在 Spark...

2017-11-12 20:42:51 393 0

转载 深入分析Parquet列式存储格式

Parquet是面向分析型业务的列式存储格式,由Twitter和Cloudera合作开发,2015年5月从Apache的孵化器里毕业成为Apache顶级项目,最新的版本是1.8.0。 列式存储 列式存储和行式存储相比有哪些优势呢? 可以跳过不符合条件的数据,只读取需要的数据,...

2017-11-09 09:40:17 303 0

转载 java与mysql的日期类型对应

MySQL(版本:5.1.50)的时间日期类型如下: datetime 8bytes xxxx-xx-xx xx:xx:xx 1000-01-01 00:00:00到9999-12-31 23:59:59 timestamp 4bytes xxxx-xx-xx xx:xx:xx 1970-...

2017-11-07 11:08:06 1850 0

原创 spark启动过程sparkconf实例化

SparkConf 的构造很简单,主要是通过 ConcurrentHashMap 来维护各种 Spark 的配置属性。 Spark 的配置属性都是以“spark.”开头的字符串。 现在开始介绍 SparkContext。 SparkContext 的初始化步骤如下: 1)创建 Spark...

2017-10-31 17:45:01 619 0

原创 实现一个很简单的计时器类

计算程序从开始到结束使用了多少时间,是经常要做的事。import org.slf4j.Logger; import org.slf4j.LoggerFactory;public class StopWatch { private final static Logger LOG = Logg...

2017-10-31 17:23:00 662 0

转载 kafka Consumer详解

1.ZookeeperConsumer架构 ZookeeperConsumer类中consumer运行过程架构图:                                                                      ...

2017-10-29 22:13:06 818 0

提示
确定要删除当前文章?
取消 删除