Make progress step by step everyday.....

主要从事JavaEE,Hadoop,Spark方面的工作,业余兴趣爱好NLP,DM,ML和DL相关方面的技术...

CentOS7 使用无线WiFi连接并设置为开机启动

CentOS7 使用无线WiFi连接并设置为开机启动 转载:https://blog.mrabit.com/details/25 废旧笔记本装上了CentOS7准备拿来练手,由于笔记本有线网孔坏了需要配合WiFi联网使用 第一步,查看笔记本WiFi网卡名称: ip addr ...

2019-05-07 23:39:03

阅读数 39

评论数 0

Centos 7 配置 WPA-PSK无线上网

本文内容修改自 http://www.itnose.net/detail/6249611.html centos7无线wifi连接 2015-04-18 15:14 一:所用命令 dmesg | grep firmware(看看有没有来自无线网卡的固件请求) iw: iw dev(查...

2019-05-06 13:07:09

阅读数 19

评论数 0

Oozie部署spark、hadoop、hive、shell和java程序举例

一、oozie执行shell脚本(执行mr任务,实现合并增量数据) 参考:http://gethue.com/use-the-shell-action-in-oozie/ 1、点击创建、拖动到上面   2、添加命令:bash,当然也可以是linux的其他可执行的命令     3、...

2018-08-24 09:47:24

阅读数 205

评论数 0

CDH HBASE使用Solr创建二级索引,更新删除索引

CDH HBASE使用solr创建二级索引,更新删除索引 转载: https://blog.csdn.net/u010936936/article/details/78064148?locationNum=10&fps=1 关于为什么要创建hbase二级索引,这里不再赘...

2018-08-17 15:16:53

阅读数 265

评论数 0

HDFS原理解析(整体架构,读写操作流程及源代码查看等)

HDFS原理解析(整体架构,读写操作流程及源代码查看等) 前言 HDFS 是一个能够面向大规模数据使用的。可进行扩展的文件存储与传递系统。是一种同意文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。让实际上是通过网络来訪问文件的动作。由程序与用户看来,就像是訪问...

2018-08-16 17:17:46

阅读数 125

评论数 0

Spark读取Hbase报错总结

1 : 发生空指针异常,但是最终任务还是运行成功。java.lang.RuntimeException: java.lang.NullPointerException at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRe...

2018-06-21 10:41:30

阅读数 371

评论数 0

集群中RegionServer hadoopserver03 的GC日志分析

 集群中RegionServer hadoopserver03 的GC日志分析Java HotSpot(TM) 64-Bit Server VM (25.71-b15) for linux-amd64 JRE (1.8.0_71-b15), built on Dec 22 2015 18:21:3...

2018-05-30 13:54:59

阅读数 278

评论数 0

Spark使用newAPIHadoopRDD 直接读取Hbase遇到的问题

Spark使用newAPIHadoopRDD  直接读取Hbase遇到的问题数据表数据量大概:1.8TJavaPairRDD<ImmutableBytesWritable, Result> hbaseRDD =              jsctx....

2018-04-21 09:36:35

阅读数 3098

评论数 1

Linux 下挂载新硬盘方法

Linux的硬盘识别:一般使用”fdisk -l”命令可以列出系统中当前连接的硬盘设备和分区信息.新硬盘没有分区信息,则只显示硬盘大小信息.1.关闭服务器加上新硬盘2.启动服务器,以root用户登录3.查看硬盘信息#fdisk -l[cpp] view plain copyDisk /dev/sd...

2018-04-19 18:01:30

阅读数 200

评论数 0

Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析

Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析原文地址:https://javadoop.com/post/hashmap今天发一篇"水文",可能很多读者都会表示不理解,不过我想把它作为并发序列文章中不可缺少的一块来介绍。本...

2018-03-21 21:15:50

阅读数 149

评论数 0

使用SparkSQL 读取Phoenix4.5.2出现下面的问题

 使用SparkSQL 读取Phoenix4.5.2出现下面的问题18/03/09 15:07:43 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 0 (MapPartitionsRDD[10] at show at ...

2018-03-09 16:38:29

阅读数 430

评论数 0

Phoenix(SQL On HBase)安装和使用报告

Phoenix(SQL On HBase)安装和使用报告http://www.cnblogs.com/kekukekro/p/6339587.html#wiz_toc_29一、为什么使用Phoenix二、安装Phoenix2.1 兼容问题?2.2 编译CDH版本的Phoenix2.3 安装Phoe...

2018-03-09 16:27:25

阅读数 567

评论数 0

JDK1.8 十大新特性详解

JAVA8 十大新特性详解2017-01-06 C语言三人行+“Java is still not dead—and people are starting to figure that out.”本教程将用带注释的简单代码来描述新特性,你将看不到大片吓人的文字。一、接口的默认方法Java 8允许...

2018-03-02 17:50:04

阅读数 156

评论数 0

WebSocket与消息推送

WebSocket与消息推送 https://www.cnblogs.com/best/archive/2016/09/12/5695570.html目录一、Socket简介二、WebSocket简介与消息推送三、WebSocket客户端四、WebSocket服务器端五、测试运行六、小结与消息推送...

2018-03-02 17:29:53

阅读数 7970

评论数 0

JVM垃圾回收二:分代垃圾回收

JVM垃圾回收二:分代垃圾回收导语不论是引用计数还是可达性分析(gcroot),都是垃圾回收的一种策略,不同的是这两个都不能直接被用于jvm,都有他们的缺点。其实这个更多的是告诉我们java中的对象引用的一些原理,为现在执行的分代垃圾回收做铺垫,了解其原理即可,多谢@不知道和@Echo的留言为什么...

2018-03-01 09:53:13

阅读数 127

评论数 0

如何成为一名自然语言处理工程师

作者 | 兰红云 责编 | 何永灿 自然语言处理和大部分的机器学习或者人工智能领域的技术一样,是一个涉及到多个技能、技术和领域的综合体。 所以自然语言处理工程师会有各种各样的背景,大部分都是在工作中自学或者是跟着项目一起学习的,这其中也不乏很多有科班背景的专业人才,因...

2018-02-03 11:24:44

阅读数 194

评论数 0

Hadoop错误总结

P1:  vWARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable     问题:源代...

2018-02-02 16:29:46

阅读数 652

评论数 0

卷积神经网络(CNN)学习笔记2:模型训练

上篇博文主要对CNN的基本网络结构及连接方式做了简单的介绍,还介绍了一个界内经典的LeNet-5模型。下面重点介绍CNN模型的训练过程/参数学习,在阅读本文之前,最好需要有以下方面的预备知识: 神经网络基础(网络结构,前向/后向传播方式,激活函数等);基础的最优化求解方法(梯度法,牛顿法等)...

2018-01-08 15:09:13

阅读数 334

评论数 0

卷积神经网络(CNN)学习笔记1:基础入门

概述 卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一,在图像处理领域取得了很大的成功,在国际标准的ImageNet数据集上,许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的优点之一在于,避免了对图像复杂...

2018-01-08 14:30:04

阅读数 143

评论数 0

TensorFlow学习笔记2:构建CNN模型

上篇博文主要是TensorFlow的一个简单入门,并介绍了如何实现Softmax Regression模型,来对MNIST数据集中的数字手写体进行识别。 然而,由于Softmax Regression模型相对简单,所以最终的识别准确率并不高。下面将针对MNIST数据集构建更加复杂精巧的模...

2018-01-08 14:12:44

阅读数 470

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭