2015年07月_笔尖的痕

12月 11月 10月 08月 07月 06月 05月 04月 03月 01月

原创 spring-hibernate 简单dao

private HibernateTemplate hibernateTemplate = null; private SessionFactory sessionFactory = null; @Autowired public void setSessionFactory(SessionFactory sessionFactory) { this.sessionFactory =

2015-07-30 13:27:34 484

转载在CentOS linux 正常配置 tomcat7

安装中文包支持yum groupinstall chinese-support在CentOS linux 正常配置 tomcat7启动tomcat7，访问地址为：192.168.1.207:8080192.168.1.208:8080下载nginx 相关版本，地址如下：http://nginx.org/en/download.html

2015-07-30 13:22:12 531

转载 spring mvc处理json

一、pom.xml中加入依赖的jar包（在此感谢osc提供的maven仓库） json -->dependency> groupId>org.codehaus.jacksongroupId> artifactId>jackson-core-aslartifactId> version>1.9.13version>dependency>dependen

2015-07-28 15:03:46 595

原创 spark-1.4配置

spark-default.conf:spark.master spark://hadoop:7077spark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop:9000/sparkspark.serializer org

2015-07-26 17:33:29 1385

转载 CentOS 6.5升级Python和安装IPython

以前用CentOS 5.8的时候，写过一篇《升级CentOS的Python》。后来换成了CentOS 6.5，系统自带的Python版本是2.6.6，就懒得折腾。最近安装IPython，才发现IPython 2.3需要Python 2.7或者大于等于3.3，如图一所示。只有升级Python了。图一：安装IPython需求已经安装好gcc等编译工具。系

2015-07-26 03:05:22 752

转载 Tachyon0.6.4+Spark1.3+hadoop2.6.0 配置教程详解

前言本文在安装前已经配置好了spark1.3和hadoop2.6，因项目需求需要搭建tachyon，但是搭建过程中遇到了很多很多很多的问题，写下本文用来记录这一路上所踩过的坑吐槽一句:tachyon的官方文档不是很完善啊，完全按照他的做肯定成功不了。。。单节点安装先说单点，单点搞定，集群就简单了安装tachyon，官网（https://github.com/am

2015-07-19 17:50:54 1048

转载 spark1.4.0基于yarn的安装心得体会

目前线上用的是cdh5.3.2中内嵌的spark1.2.0版本，该版本BUG还是蛮多的，尤其是一些spark sql的BUG，简直不能忍。spark1.4.0新出的支持SparkR,其他用R的同时很期待试用该版本看看sparkR好不好用，于是乎打算升级一下spark的版本。以前都是在cloudera manager中一件安装的spark,感觉好轻松愉快，现在要独立安装一个基于yarn的sp

2015-07-19 17:49:52 1040

转载 Spark as a Service之JobServer初测

spark-jobserver提供了一个用于提交和管理Apache Spark作业(job)、jar文件和作业上下文（SparkContext）的RESTful接口。该项目位于git（https://github.com/ooyala/spark-jobserver），当前为0.4版本。特性“Spark as a Service”: 简单的面向job和context管理的REST接

2015-07-13 00:25:37 1461

原创 Scala java maven 混合开发 pom配置

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org

2015-07-13 00:21:40 1915

转载 IntelliJ IDEA 快捷键和设置

实用快捷键:Ctrl+/ 或 Ctrl+Shift+/ 注释（// 或者/*...*/ ）Ctrl+D 复制行Ctrl+X 删除行快速修复 alt+enter (modify/cast)代码提示 alt+/ctr+G 定位某一行Shift+F6 重构-重命名Ctrl+R 替换文本Ctrl+F 查找文本Ctrl+E 最近打开的文件Ctrl+J

2015-07-07 00:09:33 459

原创部署tomcat的war包脚本

deploy-war.sh#!/bin/shecho "============*******************================="echo "============ java 自动部署脚本 ================="echo "============*******************================="read -p "

2015-07-03 12:43:11 1406

原创部署java程序脚本

#!/bin/shecho "============*******************================="echo "============ java 自动部署脚本 ================="echo "============*******************================="read -p "请输入将要部署

2015-07-03 12:40:08 540

转载 Hbase设计以及优化

1、表的设计1.1、Column Family由于Hbase是一个面向列族的存储器，调优和存储都是在列族这个层次上进行的，最好使列族成员都有相同的"访问模式(access pattern)"和大小特征；在一张表里不要定义太多的column family。目前Hbase并不能很好的处理超过2~3个column family的表。因为某个column family在flush的时候

2015-07-02 20:17:00 439