自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大数据挖掘SparkExpert的博客

大数据智能相关理论、技术与工具的学习、理解和精通掌握过程集合

  • 博客(4)
  • 收藏
  • 关注

原创 面向社交网络用户的多维关联信息挖掘技术

将团队之前做过的微博用户多维分析的一些PPT进行分享。   (数据使用有些老,但是分析方法相对还是很全的)       微博数据蕴含了丰富的用户事件、内容、关系与态度等信息,在对数据充分理解分析的基础上,采用文本挖掘技术、统计学理论、关联分析与可视化等一系列相关技术,设计并实现了数据统计可视化、用户微博主题检测、情感倾向性分析、文本聚类分类、实体信息抽取、用户影响力分析、用户事件关联挖

2016-11-30 10:32:09 3655 2

原创 Deeplearning4j库学习

一、基础知识(了解)    背景知识:    如官网描述,dl4j-examples含有丰富的深度学习神经网络应用案例,这是一个为Java和Scala编写的首个商业级开源分布式深度学习库。DL4J与Hadoop和Spark集成,为商业环境(而非研究工具目的)所设计。Skymind是DL4J的商业支持机构。    Deeplearning4j的使用非常方便,它设计的目标是“即插即用”,通

2016-11-28 09:15:47 9050 3

原创 微软开源认知服务CNTK的测试(语音训练)

前段时间,微软开源了认知服务的工具箱,直到近期才有时间进行测试。看了文档,这个CNTK工具包还是非常厉害的,可以支持语音识别,图像分类,机器翻译等多种任务。里面也集成了多种深度学习的模型。such as deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networ

2016-11-25 09:25:18 4029 6

原创 关于Spark运行流式计算程序中跑一段时间出现GC overhead limit exceeded

最近在升级一个框架的时候,发现某个流式计算程序每隔一定的时间就会出现GC overhead limit exceeded的错误问题。这个问题肯定是内存不够,但是初始设置的内存是够的啊,于是进行各种内存优化,如将变量定义在循环体外等控制,但是发现只是将这个间隔时间往后推了一下而已。还是没有找到症结所在。后来再分析了下,可能是哪些变量占了内存没有及时释放掉,

2016-11-15 11:35:46 3921 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除