- 博客(34)
- 收藏
- 关注
RSS订阅原创 flume中的断点续传
网上能找到很多同一版本的代码示例，如下：/usr/local/bin/tail -n +$(tail -n1 /home/storm/tmp/n) --max-unchanged-stats=600 -F /home/storm/tmp/id.txt | awk 'ARNGIND==1{i=$0;next}{i++; if($0~/文件已截断/)i=0; print i >> "/home
2017-06-13 11:38:19
2244
1
原创 hadoop中大数据全排序
知识点：数据采样：InputSampler.RandomSampler分区：TotalOrderPartitioner自定义InputFormatMyKeyValueTextInputFormat网上其他类似的程序直接使用KeyValueTextInputFormat。我在使用的时候发现，数据最后是按照字典序排序的，并没有做到全排序。原因可能是默认的KeyValue
2017-06-07 16:18:28
1571
转载 Spark：sortBy和sortByKey的函数详解
在很多应用场景都需要对结果数据进行排序，Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数，分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序，它是从Spark 0.9.0之后才引入的（可以参见SPARK-1063）。而sortByKey函数是对PairRDD进行排序，也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进
2017-01-19 13:45:09
4062
转载 白痴理解的SOAP/Web Service/WSDL关系
转自：http://www.cnblogs.com/zernyree/archive/2009/05/27/1491179.html以前也曾经写过简单的WebService，但是并没有深入的研究，这两天看了园子里的一些文章，又请教了身边的高人，把SOAP、Web Service和WSDL的关系大概搞明白了，举例说明如下： X局有两个副局长A和B，A副局长分管财务，B副局长
2015-03-10 11:07:45
474
转载 WebServices的SOAP和WSDL
WebServices三种基本元素之 SOAPSOAP 即 Simple Object AccessProtocol 也就是简单对象访问协议。SOAP 呢，其指导理念是“唯一一个没有发明任何新技术的技术”，是一种用于访问 Web 服务的协议。因为 SOAP 基于XML 和 HTTP ，其通过XML 来实现消息描述，然后再通过 HTTP 实现消息传输。SOAP
2015-03-10 10:40:40
560
1
转载 外部服务接口的配置，AXIS server-config.wsdd
网上都说把server-config.wsdd 放置到web.xml相同的目录下，web应用就会把其中的server-config.wsdd加载 。只有结果但没有详细说明，后来自己找来源码研究一番，原来如此。在 web.xml axis org.apache.axis.transport.http.AxisServlet 1 上面这个只是很普通的
2015-03-06 10:11:12
1701
转载 tomcat下server.xml中context介绍
conf/Context.xml是Tomcat公用的环境配置;若在server.xml中增加的话,则myApp/META-INF/Context.xml就没用了(被server.xml中的Context替代), 代表了运行在上的单个Web应用，一个可以有多个元素，每个Web应用必须有唯一的URL路径，这个URL路径在中的属性path中设定。 <Context path="bbs"d
2014-12-15 14:01:22
1353
转载 Tomcat设置默认启动项目及Java Web工程设置默认启动页面
Tomcat设置默认启动项目Tomcat设置默认启动项目，顾名思义，就是让可以在浏览器的地址栏中输入ip:8080，就能访问到我们的项目。具体操作如下：1、打开tomcat的安装根目录，找到Tomcat 6.0\conf\server.xml，打开该文件，找到节点，在该节点中添加。2、再将WebTest工程放到tomcat根目录下，并将webapps文件夹中的ROOT文件夹删除或者重命
2014-12-12 15:47:01
5370
转载 关于oracle with as用法
with as语法–针对一个别名with tmp as (select * from tb_name)–针对多个别名with tmp as (select * from tb_name), tmp2 as (select * from tb_name2), tmp3 as (select * from tb_name3), …
2014-11-26 11:08:55
559
转载 Eclipse配置tomcat发布路径的问题
转自：http://blog.csdn.net/zollty/article/details/8710870
2014-11-05 14:37:22
448
转载 AXIS的Web Service
http://www.cnblogs.com/mingzi/archive/2009/03/09/1406839.html
2014-10-29 11:55:12
367
转载 oracle的临时表
ORACLE的临时表在应用系统中有很大的作用，它可以让用户只能够操作各自的数据中而互不干扰，不用担心会破坏或影响其他SESSION/TRANSACTION的数据，这也是数据安全的一种解决方法。 临时表分为SESSION、TRANSACTION两种，SESSION级的临时表数据在整个SESSION都存在，直到结束此次SESSION；而TRANSACTION级的临时表数据在TRANACTION结束
2014-10-27 11:42:50
326
转载 ORACLE异常处理
---------------异常处理错误分两种:编译时错误和运行时错误运行时错误叫异常declarebeginexceptionwhen 异常名 then语句;when 异常名 then语句;.....when others then语句; end-------预定义异常oracle把某些错误编号
2014-10-27 11:31:39
384
转载 Oracle存储过程及参数理解
一、过程 (存储过程) 过程是一个能执行某个特定操作的子程序。使用CREATE OR REPLACE创建或者替换保存在数据库中的一个子程序。示例1：声明存储过程，该过程返回dept表行数DECLARE PROCEDURE getDeptCount AS deptCount INT; BEGIN SELECT COUNT(*) INTO d
2014-10-14 11:58:46
516
转载 Oracle的Package的作用
Oracle的Package的作用简化应用设计、提高应用性能、实现信息隐藏、子程序重载。1、Oracle的Package除 了把存储过程放到一堆儿以外还有没有其他的作用（好处）？你不觉得把存储过程分门别类是很重要的么，而且不同的package的存储过程可以重 名。用package不仅能把存储过程分门别类，而且在package里可以定义公共的变量/类型，既方便了编程，又减少了
2014-10-11 09:50:34
351
原创 Eclipse下调试jboss
选择servers下的jboss ，右键properties，看location参数是不是 /server/jbossxxxx,如果不是就点击 switch location， apply，ok这时工程里会多个Servers的工程，打开工程会看到一个jboss服务器，双击，在主窗口里选择，deployment ，在default setting 下，选第二个 use the jboss
2014-09-16 10:23:40
1172
转载 在Eclipse中远程调试Hadoop
我部署了一个Hadoop集群，但是在运行过程中总是会遇到各式的问题，虽然可以通过加一些Log来查看出错信息，但总是不太直观，并且也比较繁琐。因此最好能远程单步调试Hadoop。在Hadoop中，一般常用的模块有：JobTracker、NameNode、DataNode、TaskTracker、JobClient、JobShell、FsShell、MapReduce等。那如何使用Eclips
2014-08-29 15:23:14
622
原创 springMVC中遇到的问题
有如下方法，执行的时候报@RequestMapping("/addunit/") @ResponseBody public long addUnitList(HttpEntity> model) throws Exception { List unitcodes=model.getBody(); INetEn
2014-08-26 16:35:49
434
原创 cenos6.4下启动apache服务
正在启动 httpd：httpd: Could not reliably determine the server's fullyqualified domain name, using localhost.localdomain forServerName(98)Address already in use: make_sock: could not bind to address[::]:
2014-08-23 16:07:45
421
原创 sqoop1.4.4导出mysql数据到hadoop1.2.1集群出现的问题
[hadoop1@slave02 sqoop-1.4.4]$ ./bin/sqoop import --connect jdbc:mysql://localhost/hadoopguide --table widgets -username root -password rootWarning: /usr/lib/hbase does not exist! HBase imports will
2014-08-16 12:48:46
722
原创 sqoop找不到mysql驱动
[hadoop2@slave02 ~]$ sqoop import --connect jdbc:mysql://slave02/hadoopguide --table widgets -m 1Warning: /usr/lib/hbase does not exist! HBase imports will fail.Please set $HBASE_HOME to the root
2014-08-13 22:35:05
4708
1
转载 java中的String
public static void main(String[] args) { String a1=new String("aaa"); String a2=new String("aaa"); String a3="aaa"; String a4="aaa"; System.out.println(a1==a3);//false
2014-08-11 13:46:26
370
原创 css左中右三列布局
#LeftPart {width:264px;float:left; margin-right:-265px;margin-left:1px; margin-top:0px; overflow: hidden;}#RightPart {width:304px;float:right;margin-left:-305px; margin
2014-08-08 10:14:05
605
转载 spark和hadoop的比较
Spark与Hadoop的对比Spark的中间数据放到内存中，对于迭代运算效率更高。Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。Spark比Hadoop更通用。Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Reduce两种操作。比如map, filter, flatMap, sample, g
2014-07-23 10:11:55
1055
原创 hadoop2.2.0 HA启动时出现了两个standy的Namenode，没有出现active的Namenode
2014-07-20 15:21:16,913 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop2 (auth:SIMPLE) cause:org.apache.hadoop.ipc.StandbyException: Operation category JOUR
2014-07-20 15:23:01
6715
2
原创 spark结合Hadoop2.2.0 HA使用中遇到的问题
scala> rdd1.toDebugString14/07/20 09:42:05 INFO Client: Retrying connect to server: mycluster/202.106.199.34:8020. Already tried 0 time(s); maxRetries=4514/07/20 09:42:25 WARN Client: Address chan
2014-07-20 09:42:56
5040
原创 hadoop2.2.0 HA中active的namenode死掉了
2014-07-19 21:55:49,823 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 15414 ms (timeout=20000 ms) for a response for sendEdits. Succeeded so far: [192.168.1.202:8485]2014-
2014-07-19 22:15:45
2778
原创 spark在hadoop2.2.0 HA配置下的问题
scala> val rdd1 = sc.textFile("hdfs://mycluster/spark/spark02/week2/directory/")14/07/19 21:15:23 INFO MemoryStore: ensureFreeSpace(138763) called with curMem=0, maxMem=30922506214/07/19 21:15:23
2014-07-19 21:33:56
5399
原创 spark中读取hdfs中文件出错
scala> val rdd1 = sc.textFile("hdfs://master:9001/spark/spark02/directory/")14/07/19 17:09:36 INFO MemoryStore: ensureFreeSpace(138763) called with curMem=0, maxMem=30922506214/07/19 17:09:36 INFO
2014-07-19 17:28:55
3595
原创 spark集群其中一个节点没有启动成功
Spark Command: /usr/java/jdk1.7/bin/java -cp ::/home/hadoop2/spark/spark-1.0.0/conf:/home/hadoop2/spark/spark-1.0.0/assembly/target/scala-2.10/spark-assembly-1.0.0-hadoop2.2.0.jar -XX:MaxPermSize=128m
2014-07-19 17:23:51
3589
原创 hadoop2.2.0中遇到的错误
2014-07-19 12:37:36,071 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: For namenode slave01/192.168.1.200:8020 using DELETEREPORT_INTERVAL of 300000 msec BLOCKREPORT_INTERVAL of 21600000msec I
2014-07-19 13:49:22
1072
原创 ztree出现$.fn.zTree is undefined错误的解决办法。
问题描述，在一个界面使用ztree创建树，提示TypeError: $.fn.zTree is undefined，这里我是在父页面引用的jquery相关js文件，通过include包含了一个子页面，子页面同时引用了jquery和ztree相关的js。 网上的解决办法有下面几种，但是在我的环境下都无效：1. 父页面和子页面同时引入了jquery。删除子页面引入的jquery。
2014-03-05 16:33:32
18565
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人