- 博客(32)
- 收藏
- 关注
RSS订阅原创 用spark分析tomcat日志
分析tomcat的日志读tomcat的日志文件,然后输出数据，写一个Streaming的统计程序1：要求统计TOP 100的 IP2：统计Top 50 页面PV3：统计浏览器的类型和版本...
2016-03-14 08:17:49
322
原创 spark SQL 学习
1：通过Spark SQL 查询hive中的数据 要求提供操作截图。 利用第二节课的数据，统计每个地区的人数,并按人数排序2: 写一个简单的程序通过JDBC访问Spark SQL Thrift server能实现查询，要求过程和截图。 详见附件...
2016-03-07 00:09:25
180
原创 hive初试
1：搭建hadoop和hive，mysql的环境，过程截图。 2：利用上节课的数据，建表并导入数据。3：最热门的查询词排行 top10 4：用户查询排行 top10 5：搜索结果排名第1，但是点击次序排在第2的数据有多少? 2：利用上节课的数据，建表并导入数据。数据格式说明： 访问时间\t用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\...
2016-02-29 08:35:35
149
原创 Spark 实战入门
使用spark分析sogou日志下载用户查询日志的精简版，完整版http://download.labs.sogou.com/dl/q.html 数据格式说明： 访问时间\t用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\t用户点击的URL 其中，用户ID是根据用户使用浏览器访问搜索引擎时的Cookie信息自动赋值，即同一次使用浏览器输入的不同查询对应同一个用户ID...
2016-02-22 08:00:34
107
原创 Spark源码倒腾
本文演示spark源码在idea编辑器上编译和提交任务１、从网站上下载spark源码,在idea中 点击 VCS->CheckOut form Version Control->Git 把代码下载到本地 https://github.com/apache/spark ２、为了能让本地编译更快一些，设置父pom.xml 中加上oschi...
2016-02-15 21:09:51
98
原创 Spark学习环境搭建－虚拟机版
计划２个月内能精通spark开发，今天起开始努力！１、环境准备 虚拟机采用visualbox,https://www.virtualbox.org 在上面搭建ubuntu server 集群，下载ubuntu server 光盘镜像，http://www.ubuntu.com/download/server 在visualbox上安装 ubuntu server...
2016-01-24 11:26:11
244
原创 idea 在ubuntu下面的桌面快捷键卸载
/usr/share/applications ~/.gnome/apps ～/.local/share/applications. 下面删除文件jetbrains-idea.desktop
2015-04-08 17:08:06
732
原创 信号量使用案例
信号量使用案例： import java.util.HashSet;import java.util.List;import java.util.Set;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import java.util.concur...
2013-03-19 10:47:16
172
原创 spring动态加载bean的方法
通过以下方法动态获取spring bean，主要用于通过一个bean字符串转换成bean的实例。1、定义bean上下文操作方法 import org.springframework.beans.BeansException;import org.springframework.beans.factory.NoSuchBeanDefinitionException;i...
2013-03-04 15:37:44
2146
原创 Project configuration is not up-to-date with pom.xml. 问题解决
Project configuration is not up-to-date with pom.xml. Run project configuration
2011-12-02 15:52:10
114
原创 VirtualBox中安装Ubuntu11.04增强功能
VirtualBox中安装Ubuntu11.04增强功能失败引用fuliang@fuliang-VirtualBox:~$ sudo /etc/init.d/vboxadd setupRemoving existing VirtualBox DKMS kernel modules ...done.Removing existing VirtualBox non-DKMS kernel mod...
2011-11-08 13:28:35
114
原创 使用mina框架传输对象实体
使用mina框架传输对象实体方法如下： 对像实体public class TransDataEntity { private String md5; private String path; private String fromIP; private byte[] filedata; public String getMd5() { return md5;...
2011-11-07 17:33:53
114
原创 用于mina的文件传输方法
使用mina进行文件传输的方法摘抄如下： 流处理线程公共类import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream...
2011-11-07 17:28:58
325
原创 C语言数据库连接池 libzdb
Libzdb 实现了一个小型、快速和易用的线程安全的连接池数据库API，可连接多种数据库，零配置，通过URL指定连接信息。Example: 默认建立5个连接 URL_T url = URL_new("mysql://localhost/test?user=root&password=swordfish"); ConnectionPool_T pool = Con...
2011-10-31 09:27:14
583
原创 大流量网站的底层系统架构
动态应用，是相对于网站静态内容而言， 是指以c/c++、php、Java、perl、.net等 服务器端语言开发的网络应用软件，比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通 常与数据库系统、缓存系统、分布式存储系统等密不可分。 大型动态应用系统平台主要是针对于大流 量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑，以...
2011-10-31 09:22:50
121
原创 C++改善的有效方法
条款1、区分指针和引用 有可能什么也不指向，或者需要能够在不同的时候指向不同的对象，这类情况下应该用指针。 总会指向某个对象并用还知道一碟旦指向那个对象，就不会再指向其他对象的时候，和当实现某些操作符的时候 应使用引用 条款2、优先考虑C++风格的类型转换条款3、决不要把多态应用于数组条款4、避免不必要的默认构造函数条款5、小心用户自定义的转换函数条款6、区分自增运...
2011-10-19 18:18:09
99
原创 Hadoop分布式集群平台搭建
目的 这篇文档的目的是帮助你快速完成在三台以上服务器搭建Hadoop应用平台。先决条件 VirtualBox 虚拟机共3台 操作系统：Ubuntu 10.4 内存： 256M以上 机器名IP ...
2011-09-30 17:05:27
139
原创 Virtualbox克隆系统
需要用到多个系统分布式部署，起初我觉得直接复制一个.vdi 虚拟硬盘再挂上去就可以了，没想到Virtualbox居然提示UUID重复，看起来就是有点像com生成的那种ID,查了一下，才知道原来不能这么用 可以通过Vritualbox自带的一个命令行工具解决，UI上没有提供对应的解决方案 1.定位到Vritualbox的安装目录，不能用全路径的方式直接执行该命令行 2.执行 Vboxmanage.e...
2011-09-27 11:18:07
163
原创 string.Format格式化字符的用法
1、格式化货币（跟系统的环境有关，中文系统默认格式化人民币，英文系统格式化美元）string.Format(”{0:C}”,0.2) 结果为：￥0.20 （英文操作系统结果：$0.20）默认格式化小数点后面保留两位小数，如果需要保留一位或者更多，可以指定位数string.Format(”{0:C1}”,23.15) 结果为：￥23.2 （截取会自动四舍五入）格式化多个Obje...
2011-08-02 10:33:55
155
去除数字前面 "0" 用正则表达式轻松实现
去除数字前面 "0" 用正则表达式轻松实现，比如 08 变成 8 ,008 变成8 ,080变成80代码如下String snumber="00080";String str=snumber.replaceAll("0*(\\d+)","$1");System.out.println(str);...
2011-07-13 21:10:30
1854
原创 Linux 操作使用心得，不断更新ing
一、安装：分区： /、/usr、 /var、 /tmp、 /homeubuntu安装deb,rpm安装包,tar.gz的方法Ubuntu的软件包格式是deb，如果要安装rpm的包，则要先用alien把rpm转换成deb。sudo apt-get install alien #alien默认没有安装，所以首先要安装它sudo alien xxxx.rpm #将rpm...
2011-06-07 20:56:31
83
原创 三种设置Tomcat session有效期的方式
三种设置Tomcat session有效期的方式 [代码] 在server.xml中定义context时采用如下定义： <Context path="/livsorder" docBase="/home/httpd/html/livsorder" defaultSessionTimeOut="3600" isWARExpanded="true"...
2011-05-31 10:24:16
126
原创 Eclipse 错误 [Failed to create the Java Virtual Machine]
Eclipse 启动，发现弹出提示框“ Failed to create the Java Virtual Machine”解决方法有两种：一、修改--launcher.XXMaxPermSize 128m二、现加入-vmd:/sun/java/jdk/bin/javaw.exe 三、双核CPU 加入 -XX:+UseP...
2011-03-25 14:58:53
93
原创 教您打造十页完美商业计划书
周鸿袆:教您打造十页完美商业计划书 第一，用几句话清楚说明你发现目前市场中存在一个什么空白点，或者存在一个什么问题，以及这个问题有多严 重，几句话就够了。很多人写了三百张纸，抄上一些 报告。投资人天天看这个，还需要你教育他吗？比如，现在网游市场里盗号严重，你有一个产品能解决这个问题，只需要一句话说清楚就可以。第二，你有什么样的解决方案，或者什么样的产品，能够解决这...
2011-03-03 09:19:56
164
原创 struts.xml-常量配置
struts.xml-常量配置 struts.configuration该属性指定加载struts2 配置文件的配置文件管理器，该属性的默认值是org.apache.struts2.config.DefaultConfiguration,这是struts2 默认的配置文件管理器，如果需要如果需要实现自己的配置管理器，开发者则可以实现一个实现Configurat...
2011-02-14 13:47:45
71
原创 eclipse glassfish 开发配置
glassfish下载地址 http://glassfish.java.net/public/downloadsindex.html，安装很方便，一直点下一步就OK了 命令 启动 asadmin start-domain domain1 停止 asadmin stop-domain domain1 部署 asadmin dep...
2011-01-07 16:02:27
213
原创 在Maven中引用jcaptcha出现Missing artifact错误的解决办法
今天在Maven中引用jcaptcha，dependency内容如下 <dependency> <groupId>com.octo.captcha</groupId> <artifactId>jcaptcha</artifactId> <version>1.0</...
2011-01-04 18:50:29
930
原创 powerdesigner 使用心得
１.powerdesigner工具面板的 association,inheritance,association link 不可用,灰色。 解决办法：在Tools——Models Options——Nation——E/R+merise 工具既可用了！ 2.默认的pd没有生成注释，针对mysql5.0可以如下修改。在Database-->edit Cur...
2010-12-06 20:22:25
132
原创 mysql sql语句 整理
show columns from 表名;describe 表名;desc 表名show create table 表名;
2010-11-18 11:47:55
102
原创 GlassFish端口号修改
GlassFish端口号修改有两种方式： 1：安装服务器修改端口号： 修改GlassFish安装路径下的setup.xml或setup-cluster.xml，修改其中的端口号 2：服务安装后修改端口号： 在GlassFish安装路径下的应用服务路径中找到config路径（我的路径为：C:\glassfish\domains\domain1\conf...
2010-11-16 13:40:33
1766
poi3.6 读写excel 操作
Apache POI是一个开源的Java读写Excel、WORD等微软OLE2组件文档的项目．下载地址：http://poi.apache.org/download.html 解压包把所有相关jar拷到项目lib下面． 操作excel表的方法如下： import java.io.FileInputStream;import java.io.FileNotFou...
2010-09-25 18:35:57
175
kaptcha 验证码在spring mvc环境下应用
kaptcha是一个非常实用的验证码生成工具。有了它，你可以生成各种样式的验证码，因为它是可配置的。kaptcha工作的原理是调用com.google.code.kaptcha.servlet.KaptchaServlet，生成一个图片。同时将生成的验证码字符串放到HttpSession中。使用kaptcha可以方便的配置： 验证码的字体验证码字体的大小...
2010-09-24 12:08:37
156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人