记录
文章平均质量分 92
笔尖的痕
spark、hadoop,数据仓库,实时计算
展开
-
nltk-构建和使用语料库-可用于小说的推荐-完整实例
步骤1:构建语料库:[python] view plain copy#!/usr/bin/env python #-*-coding=utf-8-*- #数据源目录(二级目录) sourceDataDir='data' #数据源文件列表 fileLists = []转载 2016-09-22 16:29:05 · 3085 阅读 · 3 评论 -
The remote SSH server rejected X11 forwarding request
1.首先修改配置文件1.1远程主机是 OpenSSH编辑 /etc/ssh/sshd_config,设置 X11Forwarding yes1.2远程主机是 SSH.COM编辑/etc/ssh2/sshd2_config,设置 AllowX11Forwarding yesyum install xorg-x11-xau转载 2015-01-25 16:24:35 · 4900 阅读 · 0 评论 -
MyEclipse 10离线安装PyDev插件
PyDev for Eclipse, 经过测试,一般在线安装会失败(不能访问某些网站所致)以下为离线安装步骤1 下载 PyDev 2.8.2, 链接:http://sourceforge.net/projects/pydev/files/2 解压 PyDev 2.8.2 文件到 ...\MyEclipse10\MyEclipse 10\dropins\PyDev 目录下转载 2015-01-17 22:41:38 · 1576 阅读 · 0 评论 -
Myeclipse10+Egit+bitbucket实现版本控制
1、首先在https://bitbucket.org注册账号,建立仓库(repository),这部分有问题的可以看https://confluence.atlassian.com/display/BITBUCKET/Bitbucket+10122、然后再安装git,https://code.google.com/p/msysgit/downloads/list上下载安装文件,一步步nex转载 2015-01-17 22:40:20 · 824 阅读 · 0 评论 -
spark-1.2.0编译问题
sbt/sbt streaming-flume-sink/packagehttps://issues.apache.org/jira/browse/SPARK-4462原创 2015-01-18 14:35:20 · 836 阅读 · 0 评论 -
MySQL设置字符集为UTF8(Windows版)
Windows版MySQL设置字符集全部为utf8的方式 MySQL安装目录下的my.ini文件 [client]节点#修改客户端默认字符编码格式为utf8default-character-set=utf8 (增加) [mysql]节点default-character-set=utf8 (修改)转载 2015-01-12 16:11:27 · 2521 阅读 · 0 评论 -
Ubuntu下配置Hadoop 2.3.0单节点模式
以下操作在32位Ubuntu 12.04版本下测试通过,64位系统配置64位版本Hadoop请自行搜索源代码编译相关内容。--- 分隔线神圣不可侵犯 -------------------------------------------------------------安装Ubuntu安装过程略……不想折腾的,直接在虚拟机里跑一跑好了……在 Ubuntu 下创建转载 2014-12-23 01:25:22 · 674 阅读 · 0 评论 -
Linux centos 下 eclipse 打开文件时关闭
http://processors.wiki.ti.com/index.php/Linux_Host_Support#cairo-misc.c:380:_cairo_operator_bounded_by_source:_Assertion_.60NOT_REACHED.27_failedhttp://processors.wiki.ti.com/index.php/Lin转载 2014-12-21 08:44:22 · 1276 阅读 · 0 评论 -
Linux下Tomcat6的自动重启及自动重启后的乱码问题
(1)写一个shell脚本mytt.sh,重新启动tomcat#!/bin/shpid=`ps aux | grep tomcat | grep -v grep | grep -v retomcat | awk '{print $2}'`echo $pidif [ -n "$pid" ]then{ echo ===========shutdown======转载 2014-12-02 09:57:54 · 855 阅读 · 0 评论 -
在linux服务器上lamp环境中怎样安装php的扩展模块
在一次安装wordpress模板中,不知为何 文章内容老是不能显示,最后打开debug后,说是functions.php文件中的mb_strlen()函数未定义,看来这...在一次安装wordpress模板中,不知为何 文章内容老是不能显示,最后打开debug后,说是functions.php文件中的mb_strlen()函数未定义,看来这就是文章内容不显示的原因了,那么怎么解决呢。转载 2014-12-16 18:24:04 · 2124 阅读 · 0 评论 -
ubuntu14.04安装DevStack与遇到的的问题记录
本文总结Ubuntu 14.04下部署DevStack的过程以及一些可能遇到的问题。 一、安装 以下的操作最好在普通用户下进行,至少在git clone devstack的时候使用普通用户,这样可以避免一些不必要的权限问题,当然,以后也可以使用权限更改命令来修改普通用户的权限,这种方法下文将会介绍。 1.首先获取系统更新内容 $ sudo apt-get u转载 2014-12-17 00:22:41 · 1710 阅读 · 3 评论 -
部署java程序脚本
#!/bin/shecho "============*******************================="echo "============ java 自动部署脚本 ================="echo "============*******************================="read -p "请输入将要部署原创 2015-07-03 12:40:08 · 520 阅读 · 0 评论 -
部署tomcat的war包脚本
deploy-war.sh#!/bin/shecho "============*******************================="echo "============ java 自动部署脚本 ================="echo "============*******************================="read -p "原创 2015-07-03 12:43:11 · 1382 阅读 · 0 评论 -
Linux下使用nexus搭建maven私服
http://tianweili.github.io/blog/2015/03/17/linux-nexus-maven-private-server/主题 JVM Maven Linux有个maven私服可以很方便地管理我们的jar包和发布构建到远程仓库,本文就介绍了如何在linux下一步步使用nexus搭建maven私服原文链接:http://tianw转载 2015-08-31 18:00:19 · 2205 阅读 · 0 评论 -
Docker部署私有仓库
今天和大家聊聊Docker的私有仓库。前段时间啊在CentOS6.x上玩Docker的私有仓库,由于https认证的原因,一直没有能解决,最后听群上的一朋友说,换成CentOS 7试试,也别说,最后实验成功啦!所以我建议朋友在玩docker的私有仓库的时候,也能现在CentOS7.x系统上玩,确定对整个过程熟悉后,然后换成你熟悉的6.x的系统,这样也是一个循循渐进的过程吧!转载 2016-06-02 17:44:56 · 2884 阅读 · 0 评论 -
ClassCastException Log4jLoggerFactory LoggerContex
http://my.oschina.net/u/249914/blog/192987 xception sending context initialized event to listener instance of class ch.qos.logback.ext.spring.web.LogbackConfigListener java.lang.ClassCastExcepti转载 2016-05-25 11:46:00 · 1758 阅读 · 0 评论 -
JVM 自定义的类加载器的实现和使用
1、用户自定义的类加载器:要创建用户自己的类加载器,只需要扩展java.lang.ClassLoader类,然后覆盖它的findClass(String name)方法即可,该方法根据参数指定类的名字,返回对应的Class对象的引用。findClassprotected Class findClass(String name) thro转载 2016-02-18 14:26:04 · 379 阅读 · 0 评论 -
app微信支付
app微信支付开发原创 2016-01-26 11:18:56 · 1959 阅读 · 0 评论 -
支付宝支付
处理支付宝请求: /** * 处理支付宝请求 * * @param tradeNo * @param amt * @param request * @return * @throws IOException */ private Map dealAliPay(String tradeNo, Double amt) throws IOException {原创 2016-02-01 15:09:16 · 817 阅读 · 0 评论 -
JodaTime开源时间/日期库
此前Java处理时间日期所使用的 Date 和 Calendar 被诟病不已,Calendar 的主要问题对象可变,而像时间和日期这样的类应该是不可变的,另外其概念模型也有不明确的地方,月份计算从0开始等等。JodaTime开源时间/日期库是很好的替代,另外Java8中也推出了新的java.time库,设计理念与JodaTime相似。Joda-Time 令时间和日期值变得易于管理、转载 2016-01-28 17:18:29 · 945 阅读 · 0 评论 -
AngularJS Cookies Example
AngularJS Cookies ExampleAngularJS 提供了很好的 $cookie 和 $cookieStore API 用来处理 cookies 。 这两个服务都能够很好的发挥HTML5 cookies,当HTML5 API可用时浏览器会选择使用HTML5提供的API,如果不可用则默认选择document.cookies。无论那种方式,你都可以选择使用相同的API转载 2016-01-05 09:55:47 · 448 阅读 · 0 评论 -
关于Tomcat的URIEncoding以及GET乱码
最近在维护着Linux上的服务器,当然,开发和前期测试是在windows上执行的。在做意见反馈的时候,出现了windows上正常,Linux下却是乱码的问题。先排查了web服务器与mysql的连接,确认问题处在前端页面和web之间的乱码交互。前端的代码如下:是jQuery的跨域提交。[javascript] view plaincopy转载 2016-01-04 11:54:38 · 524 阅读 · 0 评论 -
JA017: Unknown hadoop job [job_local232943157_0001] associated with action [0000000-140831115413340-
现在还没找到解决方法。原创 2014-09-02 06:41:36 · 2607 阅读 · 1 评论 -
Oozie 与 Yarn 协同工作
记录一下Oozie针对于Yarn的安装和配置流程。本文Oozie的版本为3.3.2,Hadoop为2.2。主要步骤:1、下载oozie-3.3.2.tar.gz,然后执行命令“bin/mkdistro.sh -DskipTests”进行compile:2、将编译生成的oozie-3.3.2工程copy到$OOZIE_HOME3、在$OOZIE_HOM转载 2014-08-30 01:39:54 · 1987 阅读 · 0 评论 -
RHEL6(CentOS6)安装 Oracle 11g R2 手记(完整详细可用版)
选型:32位的内存是个瓶颈,已经是64位的时代了。使用64位的CentOS6 和 64位的Oracle 11g R2在虚拟机器安装,采用hostonly方式设置网络注意:能上网的网卡要设置一下ICS(Internet连接共享)给VMware Network Adapter VMnet1这样对于虚拟机,网关是192.168.137.1,IP地址请也要设置在192.168.137.0/转载 2014-04-27 08:55:30 · 913 阅读 · 0 评论 -
Putty出现"Network error:Software caused connection abort"的解决办法
1. 在 PuTTY 的 Connection 项目中设定 "Sending of null packets to keep session active", 也就是每隔几秒传送一个 null packet 让 session不会 timeout2. 启用 sshd host 的 /etc/ssh/sshd_config 设定值: TCPKeepAlive yesRef: http:/转载 2014-04-12 16:40:28 · 4184 阅读 · 0 评论 -
【故障处理】ORA-12162: TNS:net service name is incorrectly specified
本文将给大家阐述一个因未设置系统环境变量ORACLE_SID导致ORA-12162错误的案例。希望大家有所思考。1.获得有关ORA-12162报错信息的通用表述信息[oracle@asdlabdb01 ~]$ oerr ora 1216212162, 00000, "TNS:net service name is incorrectly specified"// *Cause:转载 2014-04-27 09:50:08 · 616 阅读 · 0 评论 -
虚拟机克隆CentOS后的网卡配置
CentOS虚拟机克隆,物理地址会冲突,于是自动新建了网卡eth1,无法启动网卡。 解决办法: www.2cto.com 方式1: 1)修改/etc/sysconfig/network-scripts/ifcfg-eth0 为 /etc/sysconfig/network-scripts/ifcfg-eth1 2)配置/etc/sysconfig/networ转载 2014-05-11 11:34:39 · 1166 阅读 · 0 评论 -
maven命令
导出yimvn dependency:copy-dependencies -DoutputDirectory=lib -DincludeScope=compile原创 2014-05-08 22:01:40 · 529 阅读 · 0 评论 -
hadoop-hbase-hive-zookeeper的cdh4.6.0和spark-0.9.0-incubating-bin-cdh4集群
配置文件下载地址:原创 2014-05-02 14:03:31 · 842 阅读 · 0 评论 -
节点datanode无法启动
参照这篇文章配置的集群:http://www.linuxidc.com/Linux/2014-03/98606.htm原创 2014-05-02 11:21:12 · 1027 阅读 · 0 评论 -
Ubuntu 14.04 编译 openjdk-7u40
安装依赖命令:原创 2014-05-01 16:40:43 · 1697 阅读 · 0 评论 -
Putty出现 Network error:Software caused connection abort
一、putty發生 network error 今天我在xp下使用putty ssh進入 我的ubuntu主機,發生了連線問題,每次putty皆顯示 network error software caused connection abort,而我也花了不少時間在主機端尋求解決之道。更改許多設定之後,這個問題還是一直發生。正當百思不得其解時,突然間發覺是否是本機端的問題转载 2014-04-29 22:32:48 · 1872 阅读 · 0 评论 -
QQ邮箱设置outlook2013邮箱
要在Outlook2013中设置QQ邮箱,请你点击文件菜单中的添加帐户,选择电子邮件帐户,在下一步中建议选择手动设置或其他服务器类型,选择POP或IMAP,然后在下一步中输入你的姓名、邮件地址,发送邮件服务器地址设置为pop.qq.com,接收邮件服务器地址设置为smtp.qq.com,并输入你的用户名和密码,同时建议勾选要求使用安全密码验证(SPA)进行登录复选框。然后建议你点击原创 2014-03-14 17:18:24 · 3242 阅读 · 0 评论 -
centos6.4 virtualbox 安装扩展工具失败
yum -y update原创 2014-04-27 01:14:09 · 536 阅读 · 0 评论 -
centOS 6.4关闭防火墙步骤
关闭虚拟机防火墙: 关闭命令: service iptables stop 永久关闭防火墙:chkconfig iptables off两个命令同时运行,运行完成后查看防火墙关闭状态 service iptables status转载 2014-04-27 07:37:55 · 792 阅读 · 0 评论 -
device eth0 does not seem to be present,delaying initialization
用VM VirtualBox 配置好CentOS后,使用复制虚拟机功能复制了一台,但启动后用ifconfig查看IP时,一直提示未找到eth0 ,重启网卡服务:service network restart,提示如下错误信息:device eth0 does not seem to be present,delaying initialization.解决步骤:1、查看网卡的MAC转载 2014-04-27 08:00:24 · 791 阅读 · 0 评论 -
jwplayer HTML5
如果想基于HTML5做HTTP伪媒体流服务器也可以。简单的改下HTML代码即可[plain] view plaincopy Loading the player ... jwplayer("container原创 2014-09-22 16:08:04 · 3210 阅读 · 0 评论 -
在Ubuntu13上搭建vsftp错误
rm /etc/pam.d/vsftpd原创 2014-08-04 10:16:57 · 705 阅读 · 0 评论 -
ubuntu13搭建rtmp流媒体服务器
配置文件:#user nobody;user ftpweb ftpweb;worker_processes 30;error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.p原创 2014-08-04 10:42:45 · 1081 阅读 · 0 评论