自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

LgDreamSky

坚持,挨踢。坚持,AI。

  • 博客(23)
  • 资源 (4)
  • 收藏
  • 关注

转载 Cloudify基础介绍

Cloudify       Cloud foundry作为业务第一个开源的paas,给我们带来了难得的学习和借鉴的机会,得以窥视paas的盒子内部的构造。Cloud foundry是基于ruby开发的,ruby相比之下比java开发的速度更快,这也是CF发展很快的原因之一把(原因之二,架构稳健,容易扩展)。如果把CF看作是大象,功能齐全,结构完整,那cloudify就是灵活的豹子,号称上

2015-03-03 22:31:39 2878

转载 提高Linux工作效率的十大bash技巧

技巧一、用命令行往文件的顶部添加文字每次我都会重新寻找这个命令的写法。下面就是如何使用sed往一个文件顶部添加一行的方法:sed -i '1s/^/line to insert\n/' path/to/file/you/want/to/change.txt技巧二、用命令行往配置文件里插入多行文本这种方法非常简单,很多人都知道,下面就是如何用命令行将(>>)多行文本插入一个文件中。这

2015-03-03 22:26:49 932

原创 Nodejs 入门秘籍,搭一个最简单的web服务器。(菜鸟的你也能秒懂)

心血来潮,总结了一个Nodejs入门秘籍。看了你就想学NodeJs了。nodejs是用C++开发的一种运行于服务器端的语言,可以写网站后台程序,可以做服务端应用开发,语法和JAVASCRIPT一样,会JS,就是会NodeJS,区别于,普通JS是脚本运行客户端,而NODEJS中的JS是运行于服务器端,NODEJS的作用相当PHP,ASP等语言。

2015-02-08 00:10:11 9306

原创 CloudFoundry基础知识学习

1     CloudFoundry简介CloudFoundry是VMware旗下子公司Pivotal的一款开源PaaS产品,是一个由多个独立子系统组成的分布式系统,能偶支持多种运行时环境、开发语言、框架及服务,可以构建于IaaS平台之上,也可以直接部署于物理机器上,总共有两个版本分别是V1和V2,V2版本采用的更为成熟的架构思想,引入了如Buildpack、Warden等强大灵活的组件。

2015-01-30 23:03:50 5005

转载 windows 下安装nodeJS

1、windows下的NodeJS安装是比较方便的(v0.6.0版本之后,支持windows native),只需要登陆官网(http://nodejs.org/),便可以看到首页的“INSTALL”按钮,直接点击就会自动下载安装了。2、安装过程基本直接“NEXT”就可以了。(windows的安装msi文件在过程中会直接添加path的系统变量,变量值是你的安装路径,例如“C

2014-11-18 01:24:21 706

原创 详解http 协议

1.支持客户/服务器模式。2.简单快速:客户向服务器请求服务时,只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单,使得HTTP服务器的程序规模小,因而通信速度很快。3.灵活:HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。4.无连接:无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求,并收到客户的应答后,即断开连接。采用这种方式可以节省传输时间。5.无状态:HTTP协

2014-11-03 22:56:43 805

原创 spark 调优经验(续二)

如何配置高性能的spark集群?如何配置Hadoop的配置文件?如何对spark配置进行合理的优化?

2014-11-03 22:45:41 1727

原创 spark调优经验(待续)

spark 调优经验笔记!spark 存储的时候存在严重的分配不均的现象,有几台机器在过渡使用, 有几台机器却很少被使用,有几台机器缓存了几十个上百个RDD blocks  有的机器一个RDD blocks 都没有,这样,哪些存储有RDD blocks 的会进行更多的计算,计算的tasks 最多为该机器core数。spark 调优还需要注意哪些代码优化?

2014-10-29 21:31:35 2702 2

原创 Standalone spark-env.sh 配置

本文列取了部分spark-env.sh里面的配置SPARK_MASTER_OPTS            设置只适用于Master的配置属性,形式为“-Dx = y” (默认值:无),配置选项参见下面列表。 SPARK_LOCAL_DIRS                 设置Spark 缓存空间目录, 包括存储在磁盘上的映射输出文件和RDDS;这可以是一种快速的本地磁盘系统, 也可以

2014-10-29 00:04:10 3073

原创 Java 类加载与初始化

在了解Java的机制之前,需要先了解类在JVM(Java虚拟机)中是如何加载的,这对后面理解java其它机制将有重要作用。每个类编译后产生一个Class对象,存储在.class文件中,JVM使用类加载器(Class Loader)来加载类的字节码文件(.class),类加载器实质上是一条类加载器链,一般的,我们只会用到一个原生的类加载器,它只加载Java API等可信类,通常只是在

2014-10-27 23:48:02 815

转载 Java系列笔记2 - JVM监控与调优

在Java虚拟机的参数中,有3种表示方法(出自:http://www.cnblogs.com/wenfeng762/archive/2011/08/14/2137810.html),用“ps -ef |grep "java"命令,可以得到当前Java进程的所有启动参数和配置参数:标准参数(-),所有的JVM实现都必须实现这些参数的功能,而且向后兼容;非标准参数(-X),默认jvm实

2014-10-27 23:42:19 846

原创 Java系列笔记1--Java 内存区域和GC机制

认识

2014-10-27 11:38:32 665

转载 Spark1.0.0 属性配置

1:Spark1.0.0属性配置方式      Spark属性提供了大部分应用程序的控制项,并且可以单独为每个应用程序进行配置。      在Spark1.0.0提供了3种方式的属性配置:SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext;SparkConf可以对某些通用属性直接配置,如master使用setMaster,

2014-09-29 21:13:36 725

翻译 Spark 快速入门--编程及运行

Apache Spark 快速入门Interactive Analysis with the Spark ShellBasicsMore on RDD OperationsCachingA Standalone App in ScalaA Standalone App in JavaA Standalone App in PythonRunning on a ClusterIncluding Yo

2014-08-16 19:30:30 1187

翻译 Apache Spark 编程指南

Apache Spark 编程指南OverviewLinking with SparkInitializing SparkMaster URLsDeploying Code on a ClusterResilient Distributed Datasets (RDDs)Parallelized CollectionsHadoop DatasetsRDD OperationsTransfo

2014-08-16 19:24:17 895

翻译 spark集群管理简述

集群模式概述:组件:spark 应用程序在集群中以独立的一系列进程运行。通过驱动主程序(dirver)里创建的sparkContext对象进行协调。sparkContext 可以连接几类集群管理框架(如standalone,Mesos,YARN)。这些集群管理可以在应用间分配资源,一旦连接,spark 就需要获得那些子节点上的线程池,就是那些用于执行计算和存

2014-08-05 22:53:50 1218

原创 创建SparkContext

SparkContext实例可以与一个Spark集群连接,也

2014-08-04 22:09:20 4240

原创 数据归约

(1)计算时间

2014-07-31 23:19:46 3809

原创 数据挖掘基本概念

数据仓库最重要的是两个方面:

2014-07-30 23:56:02 948

转载 华为2014校园招聘机试

华为2014校园招聘的机试题目和2013年的完全一样。一、题目描述(60分):通过键盘输入一串小写字母(a~z)组成的字符串。请编写一个字符串过滤程序,若字符串中出现多个相同的字符,将非首次出现的字符过滤掉。比如字符串“abacacde”过滤结果为“abcde”。要求实现函数:void stringFilter(const char *pInputStr, long lInputL

2013-09-08 20:24:23 1040

原创 结构体之内存对齐(未完)

结构体对齐:什么是对齐,以及为什么要对齐?     现代计算机中内存空间都是按照byte划分的,从理论上讲似乎对任何类型的变量的访问可以从任何地址开始,但实际情况是在访问特定变量的时候经常在特定的内存地址访问,这就需要各类型数据按照一定的规则在空间上排列,而不是顺序的一个接一个的排放,这就是对齐。     对齐的作用和原因:各个硬件平台对存储空间的处理上有很大的不同。一些平台对某些特定

2013-09-08 20:13:57 767

原创 c语言如何操作Oracle之---PRO*C

Linux下的PRO*C函数库PRO*C是Oracle提供的应用程序专用开发工具,其宿主语言是C语言,能在C程序中嵌入SQL语句,进行数据库操作。这种嵌入式的SQL语句容易掌握,适合初学者。而且PRO*C使用预编译技术,预编译器将源程序中的SQL语句转换为标准的Oracle库函数调用,从而生成C源程序,再经C编译器编译、链接后直接生成可执行文件,该预编译器是Oracle自带的。使用PRO*

2013-09-08 19:22:41 4954

原创 c语言程序编译执行全过程

编译,编译程序读取源程序(字符流),对之进行词法和语法的分析,将高级语言指令转换为功能等效的汇编代码,再由汇编程序转换为机器语言,并且按照操作系统对可执行文件格式的要求链接生成可执行程序。 C源程序头文件-->预编译处理(cpp)-->编译程序本身-->优化程序-->汇编程序-->链接程序-->可执行文件 1.编译预处理读取c源程序,对其中的伪指令(以#开头的指令)和特殊符号进行处

2013-09-08 02:39:37 1690

汇编指令大全

汇编指令大全,什么指令都有,还会教你用法。不会的时候查一下就知道了

2012-11-04

c++入门经典

此资源是学习C++的经典课件,从入门到较精通,初学者可以看看,不错的

2012-10-31

数据结构算法精简程序集

比较齐全的数据结构算法。主要是数据结构方面。里面代码比较多

2012-10-30

华为面试题精选

史上最全的华为面试题,在找工作的童鞋们,好好看看吧

2012-10-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除