- 博客(13)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 hive/spark-sql : Cannot find DistCp
最近发现spark-sql执行insert overwrite等操作时 最后move文件是一个一个的操作，效率较低而且还会存在bug(具体bug其余文章讲解)。因此进行了修改，修改后发现如下报错。Caused by: java.io.IOException: Cannot find DistCp class package: org.apache.hadoop.tools.DistCp ...
2018-05-15 17:46:00
919
原创 SparkML（二） 设计机器学习系统
本章还是理论阶段，有一套完整清晰的理论对设计高层架构有着巨大作用。大数据处理系统必备的特性必须能与其他系统组件整合，数据收集系统、数据存储系统、前段web服务等等必须易于扩展且与其它组建独立，理想情况下要兼具水平和垂直可扩展性支持高校完成所需类型的计算，包含机器学习和迭代式分析应用 最好能同时支持批处理(离线处理)和实时处理机器学习系统常应用在如下方面个性化目标营销和
2017-09-12 23:10:25
529
原创 SparkML (一) Spark的环境搭建与运行
做Spark也有段时间了，主要是平台方面的东西源码也改过些。不过总觉得还是应用才是王道，加上现在AI日趋火爆，抽点时间学习下SparkML吧。—前言我博客里SparkML系列的文章是基于Spark机器学习这本书(Nick Pentreath著),把每章重点和自己的一些感悟记录下。Spark的环境搭建与运行Spark支持4中运行模式本地单机模式: 在本机的一个JVM里构造的一个多线程版本的Spark
2017-09-11 22:26:38
3507
原创 yarn SLS公平调度器测试
SLS测试简介sls是Scheduler Load Simulator的缩写，是一个用来测试yarn调度器性能的工具。其实，若想完成测试，一共需要用到两个工具：Hadoop Rumen和SLS，下面逐个介绍。Hadoop RumenHadoop Rumen，是一个针对MR设计的日志解析分析工具。在SLS里，可以用这个工具解析mr jobhistory server的日志(可以解析一天的、一周的)，来
2017-08-15 22:59:44
2008
1
原创 ReactiveMongo 学习笔记
ReactiveMongo 学习笔记 ReactiveMongo是scala的mongodb驱动，提供了完全非阻塞和异步i/o操作。还是由于上一个网游服务器用到，在网上查找的资料不多，中文资料更少。所以做个笔记，方便以后查阅也可以和朋友探讨相关问题。 没有太多的解释，下面是一个完整的Demo代码，伴有注释 官网: http://reactivemongo.org API和Sam
2015-08-07 16:05:06
5804
原创 AKKA笔记
同scala笔记一样，也是因为那个项目中用到的akka(主要是actor和集群这两块)，所以将学习过程中遇到的问题和心得零散的记录一下。如果想从头学习，看完整的教程请移步官方文档。 先介绍几个重要的网站链接: akka 官方文档scala版 http://doc.akka.io/docs/akka/2.3.6/scala.html akka API h
2015-08-05 14:23:35
704
原创 scala学习笔记
Scala笔记 因为有个项目(网游服务器)用到了scala，第一次接触感觉这门语言非常犀利，所以把做项目的过程中积累的这个语言相关的知识点整理下做个笔记。内容不分先后顺序，前后基本没有逻辑，就是简单的知识点块。我之前是做java的，所以有些比较都是针对java。
2015-08-04 17:31:08
2857
原创 MongoDB常见错误总结
1.Replica Set 主从不同步（RECOVERING ， still syncing, not yet to minValid optima）使用db.printSlaveReplicationInfo()，db.printReplicationInfo() 查看最新的主从同步情况。停掉从库(kill 进程)，然后删除掉全部的数据库数据(rm /var/lib/mongod
2015-07-22 11:31:33
809
原创 AKKA: missing or invalid dependency detected while loading class file 'ActorSystem.class'
问题描述：1.按AKKA教程搭建计算PI值得项目ttp://www.gtan.com/akka_doc/intro/getting-started-first-scala.html2.用IntelliJ创建了空的scala项目（没用到SBT），配置好java、scala环境，把从官网下载的akka-actor_2.11-2.3.8.jar导入到项目中添加到依赖项3.运行项目的时候编译出
2014-12-27 15:00:42
3194
1
转载 eclipse 导入Play工程的demo，报错及解决方法！
出现错误：scalatest_2.10-1.9.1.jar is cross-compiled with an incompatible version of Scala (2.10).将play自带的samples中scala的例子生成eclipse项目后倒入到eclipse中会出现红色的X，但并没有提示哪个文件出错查看problems下面错误显示scalatest_2.
2014-12-09 15:57:15
1618
原创 Java创建与获得对象的几种方式
前几天在看一个设计模式的时候，看到了一个新的获得对象的方式。感觉蛮有趣的，然后去网上搜了搜果然有所收获。于是动手写了写代码，稍微了解了一下： 1.最传统的方式： 申明一个引用 直接指向 Object o = new Object(); 这种方法最常见了 暂时也没想出有啥特殊之处 等以后想起啥来再来补充吧。2.第二种方式 ： 反射 调用java.lang.reflect.C
2011-12-20 16:41:10
646
原创 开篇大记
想想自己从开始接触Java到现在也有一点有余的时间了，想想这一年来的时间里一直都有高手指路，自己确实没遇到过什么特别大的困难。当然这也是我最担心的地方，从Java到android，从满是鸟语的API到乱七八糟的数学公式...感觉自己接触的东西很多很多了，但真正深入研究的东西可以说是基本没有吧。 想想以前学习知识的方式就是看、练，从来没有做笔记的习惯(除了代码里写点注释)。所以突然觉那种方
2011-12-20 09:18:00
415
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人