自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Sophia的专栏

Big data-Long long way to go

  • 博客(25)
  • 资源 (2)
  • 收藏
  • 关注

转载 spring总结

一、概述    1. Spring是一个开源框架,其目的是为了解决企业应用开发的复杂性.    2. Spring功能:使用基本的JavaBean代替EJB,并提供更多的企业应用功能.    3. 简单说,Spring是一个轻量级的控制反转(IOC)和面向切面(AOP)的容器框架.二、Spring的jar包和配置文件    1.Spring的jar包        

2014-10-05 10:56:25 410

转载 转载hibernate总结

一、Hibernate概述    1.概述        (1)JDBC优缺点            * 优点:直接底层操作,提供了很简单、便捷的访问数据库的方法,跨平台性比较强.灵活性比较强,可以写很复杂的SQL语句.            * 缺点:    无法做到面向对象编程.                    操作繁琐,重用性低.            

2014-10-03 23:37:48 618 1

转载 mvc模式优缺点

优点:1、开发人员可以只关注整个结构中的其中某一层;2、可以很容易的用新的实现来替换原有层次的实现;3、可以降低层与层之间的依赖;4、有利于标准化;5、利于各层逻辑的复用。概括来说,分层式设计可以达至如下目的:分散关注、松散耦合、逻辑复用、标准定义。缺点:“金无足赤,人无完人”,分层式结构也不可避免具有一些缺陷:1、降低了系统的性能。这是

2014-10-01 16:44:35 524

转载 如何提高java技能

如何提高自己的 Java 编程技能 (2007-01-18 18:00:18)转载▼ 分类: Java Technology可以按照两条路线提高自己的技能:参加一个课程(为了认证或者只是为了学习)或自学(当然,还要通过编写代码进行实践)。除了能够从有经验的开发人员那里获得知识之外,课程或认证路线还可以向老板有力地证明您具备

2014-09-12 15:08:27 468

原创 tachyon实探

Files Currently In Memory

2014-09-04 18:38:15 490

转载 tachyon方面转载

Tachyon是AmpLab的Li Haoyuan所开发的一个基于内存的分布式文件系统,出发点是作为AMPLAB的BDAS的一个组成部分。其声称吞吐量超过HDFS 300多倍。

2014-09-03 18:24:02 444

转载 eclipse有用的快捷键

ctrl+shift+T:打开类型,可以全路径打开一个类、接口1. ctrl+shift+r:打开资源    这可能是所有快捷键组合中最省时间的了。这组快捷键可以让你打开你的工作区中任何一个文件,而你只需要按下文件名或mask名中的前几个字母,比如applic*.xml。美中不足的是这组快捷键并非在所有视图下都能用。2. ctrl+o:快速outline

2014-09-01 09:02:40 344

转载 docker

docker的交互式教程网址:https://www.docker.com/tryit/理论部分Docker 引擎包含了两个部分,一个守护进程作为服务器端来管理所有的容器。一个客户端,可以远程来控制服务端。Docker有公共的云端仓库 Docker Hub Registry,里面有可以使用的镜像你可以认为容器containers就是沙箱box中的一个进程。这个盒子中包括

2014-08-21 17:16:21 1053

转载 zk的checkbox

" checked="@bind(vm.orderContent.perm.canRead)"/>  "  checked="@bind(vm.orderContent.perm.canWrite)"/>  " checked="@bind(vm.orderContent.perm.canExecute)"/>

2014-08-20 19:53:22 1141

转载 java反射通过get方法获得属性值

1、根据对象获得所有字段的值Java代码  public static void method(Object obj) {      try {          Class clazz = obj.getClass();          Field[] fields = obj.getClass().getDeclaredFields();//获得属

2014-08-12 17:08:02 1551

转载 泛型中的extend以及super

泛型是在Java 1.5中被加入了,这里不讨论泛型的细节问题,这个在Thinking in Java第四版中讲的非常清楚,这里要讲的是super和extends关键字,以及在使用这两个关键字的时候为什么会不同的限制。    首先,我们定义两个类,A和B,并且假设B继承自A。下面的代码中,定义了几个静态泛型方法,这几个例子随便写的,并不是特别完善,我们主要考量编译失败的问题: publi

2014-08-12 17:05:54 2131

转载 ZK开发要害知识点

http://www.myexception.cn/web/1403102.html感谢原创

2014-08-07 17:32:32 5531

转载 60个开发者不容错过的免费资源库

原文地址连接:http://www.myexception.cn/other/1391134.html 感谢原创

2014-08-07 17:29:38 448

转载 ZK环境配置

ZK环境配置1安装环境前,需要下载的东西:    作为一个基于 java 的web framework,准备环境运行ZK,需要成功安装JDK 、Eclipse和服务器,所以要提前下载的东西为:①下载JDK(Java SEDevelopment Kit)安装包;②下载Tomcat安装包(Tomcat6.0或更高版本);③下载Eclipse IDE 软件开发工具安装包;④下

2014-08-01 17:48:44 742

转载 MyEclipse中ZK项目运行时候tomcat的报错

如果出现了上述的错误按照如下的3个步骤解决:1、首先关闭MyEclipse工作空间。2、然后删除工作空间下的“/.metadata/.plugins/org.eclipse.core.runtime/.settings/com.genuitec.eclipse.ast.deploy.core.prefs”这个文件。在这个文件中存储了一些部署项目的信息。删了这个部署的

2014-08-01 17:43:22 566

转载 杂记:hive报错以及spark中hive应用

(1) Yarn Cluster: Spark Driver程序将作为一个ApplicationMaster在YARN集群中先启动,然后再由ApplicationMaster向RM申请资源启动 executor以运行Task。因为Driver程序在Yarn中运行,所以程序的运行结果不能在客户端显示,所以最好将结果保存在HDFS上,客户端的终端显示的是作为Yarn的job的运行情况。(2)

2014-07-22 19:56:31 1790

转载 maven创建项目

)创建简单Maven项目           点击Eclipse菜单栏File->New->Ohter->Maven得到如下图所示对话框:            选中Maven Project并点击Next,到下一个对话框继续点击Next得到如下对话框 如图示操作,选择maven-archetype-quickstart,点击Next 按图示填写好gro

2014-07-22 19:55:43 409

原创 sparkSQL

配置scala: vi  /etc/profile   export SCALA_HOME=/home/bigdata/scala   export PATH=$PATH:$SCALA_HOME/bin   source /etc/profile#scala -version  Scala code runner version 2.9.3 -- Copyright 200

2014-07-06 13:16:58 648

转载 hadoop文件命令(转载)

文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr /use

2014-07-06 11:18:52 473

转载 shark测试问题

Shark部署常见问题1、readObject can't find class org.apache.hadoop.hive.conf.HiveConforg.apache.spark.SparkException:Job aborted: Task 0.0:3 failed 4 times (most recent failure:Exception failure: ja

2014-07-01 11:36:15 989

原创 shark部署笔记

参照CDH5官方文档 hive mysql 授权访问账号

2014-06-30 10:08:46 1522

原创 Spark on yarn测试存档

Spark on yarn测试存档从spark-class脚本结合后期日志可以看到,spark启动首先读取来自spark-env.sh的环境变量,首先加载spark_mem等变量,然后查找jar包以及读取类路径。采用yarn-client模式,则将spark作业提交到yarn上运行,sparkContext运行在client本地,task运行在yarn集群中。可以看到运行结果以及webUI上c

2014-06-17 17:22:47 794

转载 hive零散

cloudera自带的spark可用后,安装hive尝试跑shark。

2014-06-11 17:50:23 432

原创 ssh无密码登陆配置以及yum安装之前遇到的问题解决

配置:首先请确保防火墙都处于关闭状态,具体命令是ufs disable。并确保安装ssh spenssh-server。在主机sophia0中执行以下命令:cd ~/.ssh     (进入用户目录下的隐藏文件.ssh)ssh-keygen -t rsa   (用rsa生成密钥)cp id_rsa.pub authorized_keys   (把公钥复制一份,并改名为autho

2014-06-06 16:20:59 637

转载 shark0.8.1安装部署

名称下载地址Spark 0.8.1http://d3kbcqa49mib13.cloudfront.net/spark-0.8.1-incubating-bin-cdh4.tgzShark 0.8.1https://github.com/amplab/shark/releases/download/v0.8.1/shark-0.8.1-b

2014-05-19 11:07:36 769

winformC#环境下PKI公钥加密体系的应用例子

本文档是关于PKI的理论性文章 对于PKI进行的详细理论介绍之外 对于公钥加密体系进行应用探索 介绍进行了详尽的分析阐述

2009-05-26

在校园网中的PKI研究

本文档是关于PKI的理论性文章 对于PKI进行的详细理论介绍之外 结合校园网介绍进行了详尽的分析阐述

2009-05-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除