杂
文章平均质量分 92
笔尖的痕
spark、hadoop,数据仓库,实时计算
展开
-
VirtualBox安装Centos之网络配置
最近要在本地测试php,所以需要安装个环境。辛亏主机给力,所以整个虚拟机来。系统选择的是win7 专业版作为母鸡兼开发环境,虚拟机选用Oracle VM VirtualBox的64bit版本,centos选择的是centos6.4 64bit版。说来也够折腾的,安装一路顺畅,结果就是网络不痛。做个记录,下次好看看。 Oracle VM VirtualBox网卡设置网转载 2013-12-13 12:30:20 · 825 阅读 · 0 评论 -
Ubuntu下配置Hadoop 2.3.0单节点模式
以下操作在32位Ubuntu 12.04版本下测试通过,64位系统配置64位版本Hadoop请自行搜索源代码编译相关内容。--- 分隔线神圣不可侵犯 -------------------------------------------------------------安装Ubuntu安装过程略……不想折腾的,直接在虚拟机里跑一跑好了……在 Ubuntu 下创建转载 2014-12-23 01:25:22 · 672 阅读 · 0 评论 -
MySQL设置字符集为UTF8(Windows版)
Windows版MySQL设置字符集全部为utf8的方式 MySQL安装目录下的my.ini文件 [client]节点#修改客户端默认字符编码格式为utf8default-character-set=utf8 (增加) [mysql]节点default-character-set=utf8 (修改)转载 2015-01-12 16:11:27 · 2513 阅读 · 0 评论 -
Hadoop计算能力调度器应用和配置
需求公司里有两个部门,一个叫hive,一个叫pig,这两个部门都需要使用公司里的hadoop集群。于是问题来了,因为hadoop默认是FIFO调度的,谁先提交任务,谁先被处理,于是hive部门很担心pig这个部门提交一个耗时的任务,影响了hive的业务,hive希望可以和pig在高峰期时,平均使用整个集群的计算容量,互不影响。思路hadoop的默认调度器是FIFO,但是也有转载 2014-12-26 15:00:37 · 889 阅读 · 0 评论 -
The Struts dispatcher cannot be found. This is usually caused by using Struts tags without the assoc
异常信息:The Struts dispatcher cannot be found. This is usually caused by using Struts tags without the associated filter. Struts tags are only usable when the request has passed through its servlet filt转载 2015-01-22 18:03:10 · 821 阅读 · 0 评论 -
ArrayIndexOutOfBoundsException: 48188
解决办法:工程使用了maven,排查这个问题一天,最后确定问题出现在如下配置上 jaxen jaxen 1.1.1 删除该配置即可。 此配置与Jersey的Rest服务冲突导致报错。 Jaxen的是一个Java编写的开源的XPath库。这是适应多种不同的对象模型,包括DOM,XOM,dom4j和JDOM。也可以转载 2015-12-11 13:58:53 · 947 阅读 · 0 评论 -
maven 打包 时出现非法字符: /65279错误
碰到的一个问题:使用下面的命令给工程打包时, maven mvn clean package -Ptest01 -Dmaven.test.skip=true && pause出现了/65279的错误,,而且还是出现在相关文件的第一行。百度了一下,原因很简单,就是文件的编码错误。 解决方法1.在sts(eclipse内核)中的抛出错误转载 2015-12-11 13:59:47 · 1080 阅读 · 0 评论 -
收藏的网址
机器学习:http://www.oschina.net/news/53818/awesome-machine-learning原创 2015-12-15 18:23:14 · 770 阅读 · 0 评论 -
JodaTime开源时间/日期库
此前Java处理时间日期所使用的 Date 和 Calendar 被诟病不已,Calendar 的主要问题对象可变,而像时间和日期这样的类应该是不可变的,另外其概念模型也有不明确的地方,月份计算从0开始等等。JodaTime开源时间/日期库是很好的替代,另外Java8中也推出了新的java.time库,设计理念与JodaTime相似。Joda-Time 令时间和日期值变得易于管理、转载 2016-01-28 17:18:29 · 940 阅读 · 0 评论 -
支付宝支付
处理支付宝请求: /** * 处理支付宝请求 * * @param tradeNo * @param amt * @param request * @return * @throws IOException */ private Map dealAliPay(String tradeNo, Double amt) throws IOException {原创 2016-02-01 15:09:16 · 814 阅读 · 0 评论 -
app微信支付
app微信支付开发原创 2016-01-26 11:18:56 · 1956 阅读 · 0 评论 -
解读Java Class文件格式
1.目的大型软件系统开发时,某些Java组件可能涉及到多种数据库或中间件系统的连接和应用,例如一个数据传递组件需要从DB2中读取数据,并将数据通过中间件WebSphere MQ发送到其他系统,这类组件功能单一,但却需要连接多种第三方产品,使得程序员的单元测试变的非常不便,程序员不得不注视或修改部分源代码,或者在本地安装所需第三方产品。无疑这两种选择都是痛苦的。基于以上的不便,本文开发了转载 2016-02-15 11:34:02 · 404 阅读 · 0 评论 -
JVM 自定义的类加载器的实现和使用
1、用户自定义的类加载器:要创建用户自己的类加载器,只需要扩展java.lang.ClassLoader类,然后覆盖它的findClass(String name)方法即可,该方法根据参数指定类的名字,返回对应的Class对象的引用。findClassprotected Class findClass(String name) thro转载 2016-02-18 14:26:04 · 378 阅读 · 0 评论 -
Project Tungsten:让Spark将硬件性能压榨到极限
本文编译自Databricks Blog(Project Tungsten: Bringing Spark Closer to Bare Metal),作者Reynold Xin(@hashjoin)、Josh Rosen。由七牛云存储技术总监陈超(@CrazyJvm)友情审校。以下为原文:在之前的博文中,我们回顾和总结了2014年Spark在性能提升上所做的努力。本篇博文转载 2016-02-19 17:03:03 · 474 阅读 · 0 评论 -
DL
http://deeplearning4j.org/zh-index.htmlhttp://deeplearning4j.org/use_cases.htmlhttp://nd4j.org/gpu_native_backends.htmlhttp://deeplearning4j.org/spark.htmlhttp://deeplear原创 2016-03-11 17:55:47 · 414 阅读 · 0 评论 -
CaffeOnSpark in Ubuntu 15.04
check nvidia:lspci | grep -i nvidiacheck gcc:gcc --versioninstall cuda:apt-get install build-essentialll /etc/X11/xorg.confcd /etc/X11mv xorg.conf xorg.conf.bakvim /etc/modprobe.原创 2016-04-20 23:42:39 · 1857 阅读 · 0 评论 -
国内maven仓库
http://maven.aliyun.com/nexus/content/groups/public原创 2016-08-22 14:14:14 · 511 阅读 · 0 评论 -
记录
http://blog.csdn.net/lsshlsw/article/details/49155087原创 2016-08-22 15:56:16 · 478 阅读 · 0 评论 -
深入理解Hadoop集群和网络
本文将着重于讨论Hadoop集群的体系结构和方法,及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。Hadoop里的服务器角色Hadoop主要的任务部署分为3个部分,分别是:Client机器,主节点和从节点。主节点主要负责Hadoop两个关键功能模块HDFS、Map Reduce的监督。当Job Tracker使用Map Reduce转载 2014-12-17 03:21:20 · 823 阅读 · 0 评论 -
Linux下Tomcat6的自动重启及自动重启后的乱码问题
(1)写一个shell脚本mytt.sh,重新启动tomcat#!/bin/shpid=`ps aux | grep tomcat | grep -v grep | grep -v retomcat | awk '{print $2}'`echo $pidif [ -n "$pid" ]then{ echo ===========shutdown======转载 2014-12-02 09:57:54 · 853 阅读 · 0 评论 -
virtualbox centos安装增强工具和Centos与VirtualBox共享文件夹设置
VirtualBox 大家都习惯性把它简称为 Vbox ,比 VM 的体积小、开源、速 度快。不过在使用 VirtualBox 在虚拟机中安装 CentOS 之后,不能直接运行安装好 VirtualBox 的客户端增强功能,需要简 单地配置一下才能在 CentOS 虚拟机中正常安装 VirtualBox 客户端增强功能。下面就看一下 OwnLinux 为大家提供的 “为 CentOS 5.5转载 2013-12-19 17:41:46 · 709 阅读 · 0 评论 -
virtualbox安装centos6.4开发环境搭建教程
virtualbox安装centos6.4开发环境搭建步骤记录: 1.virtualbox安装centos6.4,很简单,一步步来就好 2.配置网络环境,可以配置成与host在一个网段内,相当于真真正正的一个局域网内的电脑,前面有一篇网络配置的文章。 3.为了开发方便需要切换鼠标跟共享文件夹,需要装增强包,但是有几个地方要注意,必须yum gcc kernel-dev转载 2013-12-19 16:17:19 · 747 阅读 · 0 评论 -
CloudStack 实现VM高可用特性
一般情况下,我们希望实现主机宕机的时候,该主机上面的所有虚拟机资源都可以成功迁移到另外一台主机上面,不过在现阶段,CloudStack还未能实现这样的功能,仅仅提供了虚拟机高可用方案,也就是一台主机上面的虚拟机由于某些原因以外关机,可以在另外一台上面自动启动,并成功运行,前提是该以外关机的虚拟机资源是完整的,也就是需要保证该虚拟机是可以正常被重新启动的。这样的情况是很有可能出现的,比如一台转载 2013-12-19 17:42:42 · 1256 阅读 · 0 评论 -
Spark安装启动 and 在程序中调用spark服务
1.软件准备2.基础软件安装 3.安装spark 注:SPARK_MASTER_IP这里填写spark master的IP或者主机名,如果使用的是ip,在指定master调用服务时就只能使用ip,类似spark://192.168.1.39:7077.如果使用的是主机名,那就只能使用主机名了。类似这样spark://主机名:7077.推荐使用主机名,因为就算ip变了也不用老改配置转载 2014-05-02 01:26:10 · 1516 阅读 · 0 评论 -
maven常用命令介绍
1 下载源代码:mvn dependency:sources -DdownloadSources=true -DdownloadJavadocs=true maven常用命令介绍这里主要是在eclipse中使用maven,因此只使用到了一部分命令,整理下来方便以后查阅。生成清除Eclipse项目结构:mvn eclipse:eclipsem转载 2014-05-09 23:19:12 · 1301 阅读 · 0 评论 -
虚拟机克隆CentOS后的网卡配置
CentOS虚拟机克隆,物理地址会冲突,于是自动新建了网卡eth1,无法启动网卡。 解决办法: www.2cto.com 方式1: 1)修改/etc/sysconfig/network-scripts/ifcfg-eth0 为 /etc/sysconfig/network-scripts/ifcfg-eth1 2)配置/etc/sysconfig/networ转载 2014-05-11 11:34:39 · 1159 阅读 · 0 评论 -
centos6.4 yum : could not retrieve mirrorlist
参考地址是:http://manual.fullroot.com/centos-6-yum-update-could-not-retrieve-mirrorlist/原创 2014-04-26 23:30:23 · 915 阅读 · 0 评论 -
RHEL6(CentOS6)安装 Oracle 11g R2 手记(完整详细可用版)
选型:32位的内存是个瓶颈,已经是64位的时代了。使用64位的CentOS6 和 64位的Oracle 11g R2在虚拟机器安装,采用hostonly方式设置网络注意:能上网的网卡要设置一下ICS(Internet连接共享)给VMware Network Adapter VMnet1这样对于虚拟机,网关是192.168.137.1,IP地址请也要设置在192.168.137.0/转载 2014-04-27 08:55:30 · 911 阅读 · 0 评论 -
【故障处理】ORA-12162: TNS:net service name is incorrectly specified
本文将给大家阐述一个因未设置系统环境变量ORACLE_SID导致ORA-12162错误的案例。希望大家有所思考。1.获得有关ORA-12162报错信息的通用表述信息[oracle@asdlabdb01 ~]$ oerr ora 1216212162, 00000, "TNS:net service name is incorrectly specified"// *Cause:转载 2014-04-27 09:50:08 · 611 阅读 · 0 评论 -
CentOS网络配置解决方案
关于centos网络配置的方法,网上文档很多,但基本上都是一些操作命令,原理和解释则很少提到,而且某些文章有些地方还是需要商量的(估计是转载的,作者自己也没有实践过)。故,重新总结一下,分三个部分:理论基础、上机实践和原因阐述。注:实践环境:虚拟机登陆方式:PuTTYOS版本:centOS6.3上网方式:bridge 一、理论基础(急于解决问题的读者转载 2014-04-27 19:29:42 · 702 阅读 · 0 评论 -
centOS 6.4关闭防火墙步骤
关闭虚拟机防火墙: 关闭命令: service iptables stop 永久关闭防火墙:chkconfig iptables off两个命令同时运行,运行完成后查看防火墙关闭状态 service iptables status转载 2014-04-27 07:37:55 · 788 阅读 · 0 评论 -
LDAP服务器搭建
LDAP服务器搭建实验环境服务器:rhel6 6.0 IP=192.168.2.1 DNS=192.168.2.1 域名:www.yangmv.com bind服务已安装,并可以正常解析该域名 iptables –F 清空iptables策略service ip转载 2014-06-09 16:09:33 · 3663 阅读 · 0 评论 -
实战Nginx与PHP(FastCGI)的安装、配置与优化
一、什么是 FastCGIFastCGI是一个可伸缩地、高速地在HTTP server和动态脚本语言间通信的接口。多数流行的HTTP server都支持FastCGI,包括Apache、Nginx和lighttpd等,同时,FastCGI也被许多脚本语言所支持,其中就有PHP。FastCGI是从CGI发展改进而来的。传统CGI接口方式的主要缺点是性能很差,因为每次HTTP服务器遇到动态程序转载 2014-07-23 16:17:56 · 586 阅读 · 0 评论 -
【解决】centos6.2 spark cluster问题(持续追加)
系统:centos6.2节点数目:1个master,16个workerspark版本:0.8.0内核版本:2.6.32以下是遇到的问题及解决办法:1. 执行完某一个任务后,某个节点无法再次连接,在其上执行jps出现:StandaloneExecutorBackend进程,无法结束。原因:不明解决办法:重转载 2014-09-07 01:35:58 · 1383 阅读 · 0 评论 -
JA017: Unknown hadoop job [job_local232943157_0001] associated with action [0000000-140831115413340-
现在还没找到解决方法。原创 2014-09-02 06:41:36 · 2602 阅读 · 1 评论 -
如何为CentOS 7配置静态IP地址
如果你想要为CentOS 7中的某个网络接口设置静态IP地址,有几种不同的方法,这取决于你是否想要使用网络管理器。网络管理器(Network Manager)是一个动态网络的控制器与配置系统,它用于当网络设备可用时保持设备和连接开启并激活。默认情况下,CentOS/RHEL 7安装有网络管理器,并处于启用状态。使用下面的命令来验证网络管理器服务的状态:$ systemc转载 2014-11-07 23:09:27 · 2696 阅读 · 0 评论 -
jdk-7u55-linux-x64下载地址
http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u55-oth-JPR原创 2014-10-04 10:51:57 · 4514 阅读 · 0 评论 -
单例模式的七种写法
转自:http://www.blogjava.net/kenzhh/archive/2013/03/15/357824.html第一种(懒汉,线程不安全): 1 public class Singleton { 2 private static Singleton instance; 3 private Singleton (){} 4转载 2017-02-15 21:03:14 · 605 阅读 · 0 评论