当前搜索:

Spark使用newAPIHadoopRDD 直接读取Hbase遇到的问题

Spark使用newAPIHadoopRDD  直接读取Hbase遇到的问题数据表数据量大概:1.8TJavaPairRDD<ImmutableBytesWritable, Result> hbaseRDD =              jsctx....
阅读(12) 评论(0)

Linux 下挂载新硬盘方法

Linux的硬盘识别:一般使用”fdisk -l”命令可以列出系统中当前连接的硬盘设备和分区信息.新硬盘没有分区信息,则只显示硬盘大小信息.1.关闭服务器加上新硬盘2.启动服务器,以root用户登录3.查看硬盘信息#fdisk -l[cpp] view plain copyDisk /dev/sd...
阅读(28) 评论(0)

Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析

Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析原文地址:https://javadoop.com/post/hashmap今天发一篇"水文",可能很多读者都会表示不理解,不过我想把它作为并发序列文章中不可缺少的一块来介绍。本...
阅读(27) 评论(0)

使用SparkSQL 读取Phoenix4.5.2出现下面的问题

 使用SparkSQL 读取Phoenix4.5.2出现下面的问题18/03/09 15:07:43 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 0 (MapPartitionsRDD[10] at show at ...
阅读(33) 评论(0)

Phoenix(SQL On HBase)安装和使用报告

Phoenix(SQL On HBase)安装和使用报告http://www.cnblogs.com/kekukekro/p/6339587.html#wiz_toc_29一、为什么使用Phoenix二、安装Phoenix2.1 兼容问题?2.2 编译CDH版本的Phoenix2.3 安装Phoe...
阅读(85) 评论(0)

JDK1.8 十大新特性详解

JAVA8 十大新特性详解2017-01-06 C语言三人行+“Java is still not dead—and people are starting to figure that out.”本教程将用带注释的简单代码来描述新特性,你将看不到大片吓人的文字。一、接口的默认方法Java 8允许...
阅读(78) 评论(0)

WebSocket与消息推送

WebSocket与消息推送 https://www.cnblogs.com/best/archive/2016/09/12/5695570.html目录一、Socket简介二、WebSocket简介与消息推送三、WebSocket客户端四、WebSocket服务器端五、测试运行六、小结与消息推送...
阅读(103) 评论(0)

JVM垃圾回收二:分代垃圾回收

JVM垃圾回收二:分代垃圾回收导语不论是引用计数还是可达性分析(gcroot),都是垃圾回收的一种策略,不同的是这两个都不能直接被用于jvm,都有他们的缺点。其实这个更多的是告诉我们java中的对象引用的一些原理,为现在执行的分代垃圾回收做铺垫,了解其原理即可,多谢@不知道和@Echo的留言为什么...
阅读(41) 评论(0)

如何成为一名自然语言处理工程师

作者 | 兰红云 责编 | 何永灿 自然语言处理和大部分的机器学习或者人工智能领域的技术一样,是一个涉及到多个技能、技术和领域的综合体。 所以自然语言处理工程师会有各种各样的背景,大部分都是在工作中自学或者是跟着项目一起学习的,这其中也不乏很多有科班背景的专业人才,因...
阅读(141) 评论(0)

Hadoop错误总结

P1:  vWARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable     问题:源代...
阅读(151) 评论(0)

卷积神经网络(CNN)学习笔记2:模型训练

上篇博文主要对CNN的基本网络结构及连接方式做了简单的介绍,还介绍了一个界内经典的LeNet-5模型。下面重点介绍CNN模型的训练过程/参数学习,在阅读本文之前,最好需要有以下方面的预备知识: 神经网络基础(网络结构,前向/后向传播方式,激活函数等);基础的最优化求解方法(梯度法,牛顿法等)...
阅读(126) 评论(0)

卷积神经网络(CNN)学习笔记1:基础入门

概述 卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一,在图像处理领域取得了很大的成功,在国际标准的ImageNet数据集上,许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的优点之一在于,避免了对图像复杂...
阅读(96) 评论(0)

TensorFlow学习笔记2:构建CNN模型

上篇博文主要是TensorFlow的一个简单入门,并介绍了如何实现Softmax Regression模型,来对MNIST数据集中的数字手写体进行识别。 然而,由于Softmax Regression模型相对简单,所以最终的识别准确率并不高。下面将针对MNIST数据集构建更加复杂精巧的模...
阅读(118) 评论(0)

TensorFlow学习笔记1:入门

TensorFlow 简介 TensorFlow是Google在2015年11月份开源的人工智能系统(Github项目地址),是之前所开发的深度学习基础架构DistBelief的改进版本,该系统可以被用于语音识别、图片识别等多个领域。 官网上对TensorFlow的介绍是,一个使用数据流图(d...
阅读(92) 评论(0)

闭包的创建

闭包的创建 编辑 在Javascript中闭包的创建过程,如以下程序所示。 代码 function a(){ var i=0; function b(){ alert(++i); } return b; }var ...
阅读(60) 评论(0)

Hadoop,Spark :文件输出压缩

Spark最终结果压缩 sparkContext.textFile(inputPath).flatMap(x => { TestLog.readFromString(x) }).saveAsTextFile(outputPath, classOf[GzipCodec])123 ...
阅读(131) 评论(0)

Kafka消费组(consumer group)

一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时机成熟了,于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念,希望能把consum...
阅读(101) 评论(0)

Kafka研究

Kafka研究 架构   kafka是显式分布式架构,producer、broker(Kafka)和consumer都可以有多个。Kafka的运行依赖于ZooKeeper,Producer推送消息给kafka,Consumer从kafka拉消息。 kafka关键技术点 (1)  zero-co...
阅读(274) 评论(0)

Kafka学习资料

Apache Kafka监控之Kafka Web Console https://www.iteblog.com/archives/1084.html Apache Kafka监控之KafkaOffsetMonitor https://www.iteblog.com/archives/...
阅读(113) 评论(0)

使用第三方ZKClient 读取Zk数据报错

使用第三方ZKClient 读取Zk数据报错: Exception in thread "main" org.I0Itec.zkclient.exception.ZkMarshallingError: java.io.EOFException at org.I0It...
阅读(439) 评论(0)
    个人资料
    持之以恒
    等级:
    访问量: 40万+
    积分: 6020
    排名: 5269
    博客专栏
    最新评论