自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 资源 (26)
  • 收藏
  • 关注

原创 Spark RDD与共享变量简介

hadoop有两个东东:HDFS(存储)和MapReduce(计算)。MapReduce计算比较慢,于是Spark(速度是MR的10~100倍)出现了。Spark有两个核心的概念:弹性分布式数据集RDD与共享变量。下面进行一下简单的介绍。 弹性分布式数据集(RDD)获得方式:1 并行化驱动程序内的集合; 2 从外部数据集加载。 1 并行化驱动程序内的集合code demo val d

2014-11-20 10:58:21 2649

原创 sqoop使用例子

简介: sqoop是工具,一个可以把ORACLE、MYSQL中的数据导入到HDFS、HIVE、HBASE中(反过来也可以)的工具。下面是一些使用的例子。留下做个参考: #从Mysql中抽取数据到HDFS.问题:文件太多,全他妈是小文件;目标目录如果已经存在会报错 sqoop import --connect jdbc:mysql://10.10.244.137/test --username

2014-11-08 13:25:39 2131

原创 YARN架构简介

MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we call, MapReduce 2.0 (MRv2) or YARN. The fundamental idea of MRv2 is to split up the two major functionalities of th

2014-11-03 23:28:10 1159

原创 CDH5.2+CM5.2+impala2+Spark1.1 集群搭建基础环境准备

测试集群简介:一共有4台机器:10.10.244.136、10.10.244.137、10.10.244.138、10.10.244.139。10.10.244.136是管理节点,另外3台是存储节点。准备工作详情如下: 1 在四台机器上安装CentOS release 6.5 (Final)  64位(管理节点需要安装Mysql\Postgresql\redhat_lsb) 2 CDH5.2(

2014-11-03 10:02:43 1950 1

基于DDD和微服务的中台建设.pdf

1 DDD领域驱动设计概述 2 DDD核心概念 3 领域建模 : 事件风暴 4 DDD的中台、微服务架构映射 5 DDD架构演进

2020-03-13

ARPU预测.docx

1 input : 2019-11-01 的ARPU1 ARPU2 ARPU3 ARPU4 ARPU5 2 output : 2019-11-01的ARPU6 ARPU7 ...... ARPU30 3 处理过程 :(x,y)====>(ln(x),ln(y)) ====>线性回归 ====> 预测公式

2019-12-02

MLlib-Scalable Machine Learning on Spark

MLlib-Scalable Machine Learning on Spark。机器学习一个比较前沿的工具

2014-12-16

Scala设计模式

Scala设计模式,Scala高阶参考书。

2014-12-16

Hadoop运维杂记

Apache 推了一个Hadoop,这是一个开源的、免费的东东;每个人、每个公司都可以拿来修改,发布。在众多公司中做的比较好(用的也比较广泛)是Cloudera。所以它发布的Hadoop叫CDH。本文档以CDH为基础,讲述了系统搭建、运维方面的一些经验。它不是一个详细指导安装的文档、是一个杂记。

2013-07-16

jps判断hadoop启动是否成功

jps判断hadoop启动是否成功;分别对master和slave进行了判断。jps不是hadoop的什么命令,是java的命令,所以直接执行就行了。

2013-06-23

hostAndhostname

hadoop环境搭建过程中需要配置的/etc/hosts /etc/hostname

2013-06-23

hadoopConf

hadoop集群搭建配置文件,直接覆盖conf文件价中内容即可

2013-06-23

UML培训资料

文档全面展示了UML中的详细概念和画法,包括类图、流程图、时序图、用例图等等。

2012-11-22

Hadoop Shell命令大全

Hadoop 有两个核心的东西:HDFS、MapReduce。操作HDFS可以通过命令行、WEB接口和JAVA代码。本文档详细介绍了操作HDFS的命令,并配有详细的例子。

2012-10-30

SVN工具使用培训资料

本培训文档主要针对开发人员进行培训,实用全面,包括TortoiseSVN的安装,最常用的功能(Repo-browser Checkout Update Commit),常用功能(打分支、合并),案例分析和常见错误分析等

2012-10-30

SecureCRT&FX64;位及破解

SecureCRT&FX64;位及破解,使用在Window系统中连接Linux服务器;本人在Windows 2008 R2 连接 Linux Enterprise Server 6.1 测试成功

2012-10-15

jprofiler安装使用

jprofiler是一个好用的JVM性能监控工具,本文档包括了其在Windows、LINUX下的安装、使用说明。

2012-05-25

北航云计算公开课

新浪云计算课程在北航开课了,现在整理器PPT转发于此,有兴趣的同学可以参考一下,挺不错的。

2012-05-25

jquery hot keys

将键盘单击事件与JS绑定,即你单击键盘上的某个键,就会出发网页上的某个JS事件。

2011-11-06

JDKAPI 文档,chm格式的

JAVA 开发文档必备,chm格式的文档,占用空间很小。

2011-11-06

Android 应用开发揭秘

Android 应用开发入门教程,如果您学过jAVA,看此书应该没有问题。

2011-11-06

jquery API

jQuery快速查询API,HTML形式的,知识全面,例子丰富,界面也很友好。

2011-02-23

freemarker快速入门

freemarker 入门教材,简单易学,穿插代码, 还不错。

2011-02-23

功能健全的网页在线预览,在线打印js插件

Lodop是专业Web打印控件,类型为ActiveX插件,用它既可裁剪输出页面内容, 又可用程序代码生成复杂打印页。该控件功能异常强大,却简单易用。 功能用JavaScript调用

2011-02-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除