- 博客(9)
- 收藏
- 关注
RSS订阅原创 jvm调优
top -Hp pid printf "%x\n" 21742 找到耗时最长的进程jstack pid | grep 54ee 定位某个类的方法jstack 10535|grep -A 10 2a1d (最后十行)jmap 查询pid 内存线程附：TOP命令中需要关注的值：（1）load average：此值反映了任务队列的平均长度；如果此值超过了C...
2016-07-18 10:10:55
103
原创 phantomjs
最近做爬虫，基于网页上面有很多ajax请求，可以采用httpclient找到相应的ajax，这样做比较麻烦，然后采用phantomjs,直接可以获取到网页所有信息。public static String dealWithAjax(String url) throws IOException { Runtime rt = Runtime.getRuntime(); ...
2015-06-18 15:45:26
106
原创 kafaka+spark+hdfs简单实例
1.spark的standalone搭建很简单，简单列出相应的配置文件.vi spark-env.sh#!/usr/bin/env bashexport SCALA_HOME=/opt/scala-2.10.3export JAVA_HOME=/opt/jdk1.7.0_79export SPARK_MASTER_IP=192.168.1.16export SPARK_WO...
2015-05-09 12:37:01
427
原创 hadoop2.6集群搭建
下面是自己在公司的测试服务器上面搭建的HA#nohup java -jar puv_view.jar >> puv_out.file 2>&1 &#*/2 * * * * sh /usr/local/puv_jar/exc.sh 卸载centos自带的jdkyum -y remove java java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_...
2015-04-29 12:20:31
97
原创 uuid
1.今天对三千万数据进行pv,uv处理,突然有意思的建立了uuid作为主键,应用六个线程去处理六个文件，测试结果发现(1)有uuid批量插入,每一万个数据提交一次[数据量达到十万时发生内存溢出], 前六分钟跑的速度还行,插入了250w数据，后面的插入数据慢慢走。让我无法忍受，直接关了。(2)对puv汇总的时候select url,sum(nums) from puv group b...
2015-04-22 21:18:22
147
原创 排序--快速排序
快速排序是一个[color=red]分治和递归[/color]的一个思想。快速排序思想是折半查找,从最右边开始查找，找到一个比k值小的然后对换，再从左边开始查找，找到一个比k值大的，然后对换。继续循环就完成第一次排序。拿到返回的位置后，左右两边开始递归。package quicksort;import java.util.Arrays;/** * @author...
2015-04-10 11:03:36
108
spark
1.简单关于气温topk小例子。package jspark;import java.util.Arrays;import java.util.List;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api....
2015-04-09 16:21:50
89
原创 ajax跨域
index.html的ajax请求 get方式请求 无标题文档 //alert(app);$(function(){ $.ajax({ url: 'http://xxxxxxxxx?url=http://item.jd.com/1057746.html&func=jpc', type:...
2015-02-03 09:35:41
85
原创 hadoop的RPC
hadoop rpc简单helloworld实现1.rpc获取到服务器server Server server = RPC.getServer(new ServerInstanceImpl(),PRC_ADDRESS,PRC_PORT, new Configuration());2.r...
2014-08-28 21:11:40
120
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人