Make progress step by step everyday.....

主要从事JavaEE,Hadoop,Spark方面的工作,业余兴趣爱好NLP,DM,ML和DL相关方面的技术...

Oozie部署spark、hadoop、hive、shell和java程序举例

一、oozie执行shell脚本(执行mr任务,实现合并增量数据) 参考:http://gethue.com/use-the-shell-action-in-oozie/ 1、点击创建、拖动到上面   2、添加命令:bash,当然也可以是linux的其他可执行的命令     3、...

2018-08-24 09:47:24

阅读数:55

评论数:0

CDH HBASE使用Solr创建二级索引,更新删除索引

CDH HBASE使用solr创建二级索引,更新删除索引 转载: https://blog.csdn.net/u010936936/article/details/78064148?locationNum=10&fps=1 关于为什么要创建hbase二级索引,这里不再赘...

2018-08-17 15:16:53

阅读数:58

评论数:0

HDFS原理解析(整体架构,读写操作流程及源代码查看等)

HDFS原理解析(整体架构,读写操作流程及源代码查看等) 前言 HDFS 是一个能够面向大规模数据使用的。可进行扩展的文件存储与传递系统。是一种同意文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。让实际上是通过网络来訪问文件的动作。由程序与用户看来,就像是訪问...

2018-08-16 17:17:46

阅读数:42

评论数:0

Spark读取Hbase报错总结

1 : 发生空指针异常,但是最终任务还是运行成功。java.lang.RuntimeException: java.lang.NullPointerException at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRe...

2018-06-21 10:41:30

阅读数:175

评论数:0

集群中RegionServer hadoopserver03 的GC日志分析

 集群中RegionServer hadoopserver03 的GC日志分析Java HotSpot(TM) 64-Bit Server VM (25.71-b15) for linux-amd64 JRE (1.8.0_71-b15), built on Dec 22 2015 18:21:3...

2018-05-30 13:54:59

阅读数:152

评论数:0

Spark使用newAPIHadoopRDD 直接读取Hbase遇到的问题

Spark使用newAPIHadoopRDD  直接读取Hbase遇到的问题数据表数据量大概:1.8TJavaPairRDD<ImmutableBytesWritable, Result> hbaseRDD =              jsctx....

2018-04-21 09:36:35

阅读数:1822

评论数:1

Linux 下挂载新硬盘方法

Linux的硬盘识别:一般使用”fdisk -l”命令可以列出系统中当前连接的硬盘设备和分区信息.新硬盘没有分区信息,则只显示硬盘大小信息.1.关闭服务器加上新硬盘2.启动服务器,以root用户登录3.查看硬盘信息#fdisk -l[cpp] view plain copyDisk /dev/sd...

2018-04-19 18:01:30

阅读数:140

评论数:0

Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析

Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析原文地址:https://javadoop.com/post/hashmap今天发一篇"水文",可能很多读者都会表示不理解,不过我想把它作为并发序列文章中不可缺少的一块来介绍。本...

2018-03-21 21:15:50

阅读数:126

评论数:0

使用SparkSQL 读取Phoenix4.5.2出现下面的问题

 使用SparkSQL 读取Phoenix4.5.2出现下面的问题18/03/09 15:07:43 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 0 (MapPartitionsRDD[10] at show at ...

2018-03-09 16:38:29

阅读数:287

评论数:0

Phoenix(SQL On HBase)安装和使用报告

Phoenix(SQL On HBase)安装和使用报告http://www.cnblogs.com/kekukekro/p/6339587.html#wiz_toc_29一、为什么使用Phoenix二、安装Phoenix2.1 兼容问题?2.2 编译CDH版本的Phoenix2.3 安装Phoe...

2018-03-09 16:27:25

阅读数:350

评论数:0

JDK1.8 十大新特性详解

JAVA8 十大新特性详解2017-01-06 C语言三人行+“Java is still not dead—and people are starting to figure that out.”本教程将用带注释的简单代码来描述新特性,你将看不到大片吓人的文字。一、接口的默认方法Java 8允许...

2018-03-02 17:50:04

阅读数:129

评论数:0

WebSocket与消息推送

WebSocket与消息推送 https://www.cnblogs.com/best/archive/2016/09/12/5695570.html目录一、Socket简介二、WebSocket简介与消息推送三、WebSocket客户端四、WebSocket服务器端五、测试运行六、小结与消息推送...

2018-03-02 17:29:53

阅读数:6519

评论数:0

JVM垃圾回收二:分代垃圾回收

JVM垃圾回收二:分代垃圾回收导语不论是引用计数还是可达性分析(gcroot),都是垃圾回收的一种策略,不同的是这两个都不能直接被用于jvm,都有他们的缺点。其实这个更多的是告诉我们java中的对象引用的一些原理,为现在执行的分代垃圾回收做铺垫,了解其原理即可,多谢@不知道和@Echo的留言为什么...

2018-03-01 09:53:13

阅读数:101

评论数:0

如何成为一名自然语言处理工程师

作者 | 兰红云 责编 | 何永灿 自然语言处理和大部分的机器学习或者人工智能领域的技术一样,是一个涉及到多个技能、技术和领域的综合体。 所以自然语言处理工程师会有各种各样的背景,大部分都是在工作中自学或者是跟着项目一起学习的,这其中也不乏很多有科班背景的专业人才,因...

2018-02-03 11:24:44

阅读数:173

评论数:0

Hadoop错误总结

P1:  vWARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable     问题:源代...

2018-02-02 16:29:46

阅读数:557

评论数:0

卷积神经网络(CNN)学习笔记2:模型训练

上篇博文主要对CNN的基本网络结构及连接方式做了简单的介绍,还介绍了一个界内经典的LeNet-5模型。下面重点介绍CNN模型的训练过程/参数学习,在阅读本文之前,最好需要有以下方面的预备知识: 神经网络基础(网络结构,前向/后向传播方式,激活函数等);基础的最优化求解方法(梯度法,牛顿法等)...

2018-01-08 15:09:13

阅读数:246

评论数:0

卷积神经网络(CNN)学习笔记1:基础入门

概述 卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一,在图像处理领域取得了很大的成功,在国际标准的ImageNet数据集上,许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的优点之一在于,避免了对图像复杂...

2018-01-08 14:30:04

阅读数:125

评论数:0

TensorFlow学习笔记2:构建CNN模型

上篇博文主要是TensorFlow的一个简单入门,并介绍了如何实现Softmax Regression模型,来对MNIST数据集中的数字手写体进行识别。 然而,由于Softmax Regression模型相对简单,所以最终的识别准确率并不高。下面将针对MNIST数据集构建更加复杂精巧的模...

2018-01-08 14:12:44

阅读数:368

评论数:0

TensorFlow学习笔记1:入门

TensorFlow 简介 TensorFlow是Google在2015年11月份开源的人工智能系统(Github项目地址),是之前所开发的深度学习基础架构DistBelief的改进版本,该系统可以被用于语音识别、图片识别等多个领域。 官网上对TensorFlow的介绍是,一个使用数据流图(d...

2018-01-08 12:58:08

阅读数:177

评论数:0

闭包的创建

闭包的创建 编辑 在Javascript中闭包的创建过程,如以下程序所示。 代码 function a(){ var i=0; function b(){ alert(++i); } return b; }var ...

2018-01-01 12:06:00

阅读数:161

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭