- 博客(78)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 shell脚本如何判断某个文件里是否包含指定的字符？
文章来源：问：我想做下面的操作if 文件包含Error字符docat file.txt |sendmail ...fi判断文件是否包含Error字符这步有没有简单点的办法，我想到的那些办法好像都忒麻烦答：如果文件中包含error字符，则把命令执行失败，则把失败信息存到error.txt中命令执行成功，但是没有找到e
2015-05-31 13:45:30
44663
转载 linxu中删除指定时间之前的文件shell脚本
文章来源：http://www.111cn.net/sys/linux/63027.htm下面来看一段linxu中删除指定时间之前的文件shell脚本，有需要了解的朋友可参考一下，方法非常的简单实用我自己也使用的这段代码公司要求删除一个月之前的备份文件,免得把硬盘给整爆了,上服务器看了下,居然都有3个月的备份没有清理了,还好是sql备份,不然硬盘空间早就满了.下
2015-05-29 09:14:43
749
转载 linux下删除某一时间段的文件
文章来源：http://www.360doc.com/content/14/0228/23/6496277_356595204.shtml在Linux下实现批量删除文件的方法很多，而正如标题中所提到的一样。想要对某一时间段内的文件进行删除，可以通过find实现，find中有几个关于指定时间的参数。而且find还可以指定删除比某个文件的时间早或比别一个文件时间晚的所有文件进行删除
2015-05-29 09:12:24
6761
转载 Linux如何开机自动运行自己的脚本
文章来源：http://jiajun.iteye.com/blog/387265 记录这个事情是上次完成之后，今天要新加一个文件夹，一时之间忘记以前怎么做了，因为有几种方法，起码我知道三种方法，这里记录一笔以前的做法，觉得最简单：操作系统：CentOS-5.2目 标：开机自动挂载局域网中windows的共享目录 一、roo
2015-05-29 08:52:34
623
转载 Linux如何查看进程、杀死进程、启动进程等常用命令
文章来源：http://blog.csdn.net/wojiaopanpan/article/details/7286430关键字: linux 查进程、杀进程、起进程1.查进程 ps命令查找与进程相关的PID号： ps a 显示现行终端机下的所有程序，包括其他用户的程序。 ps -A 显示所有程序。 ps c 列出程序时，显示每个程序真正的
2015-05-29 08:47:04
8093
转载 eclipse设置运行在yarn上后失败，不设置就可以运行【以及javaAPI单点访问hdfs和运行YARN、zk访问】
文章来源：http://www.aboutyun.com/thread-8652-1-1.html内容比较详细部分java代码：Configuration conf=new Configuration(); //conf.set("mapreduce.job.jar", "myjob.jar")
2015-05-28 17:58:33
688
转载 在使用windows调用Hadoop 错误 /bin/bash: line 0: fg: no job control一般解决方法[将windows中的任务提交到linux中出错]
文章来源：http://www.360doc.com/content/14/0728/11/597197_397616444.shtml在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultCon
2015-05-27 18:09:11
1167
转载 Windows|Eclipse 运行HDFS程序遇到问题之 AccessControlException【windows中运行hdfs程序后报的异常：访问权限控制异常；方案二，修改MR程序即可】
文章来源：http://f.dataguru.cn/thread-281774-1-1.html问题：Windows|Eclipse 运行HDFS程序之后，报：org.apache.hadoop.security.AccessControlException: Permission denied: user=sunqw, access=WRITE, inode="":h
2015-05-27 16:12:40
766
转载 fail-windows7+eclipse+hadoop2.5.2环境配置 [报错 Access denied for user X方案一：修改配置文件]
文章来源：http://www.cnblogs.com/huligong1234/p/4137133.html一.hadoop集群环境配置 参考我的前一篇文章（ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html） 但本人配置时还修改了如下内容(由于你的环境和
2015-05-27 16:06:49
974
转载 webcrawler-----Jsoap爬虫美女图片多线程
文章来源：http://www.oschina.net/code/snippet_1447924_45939多线程部分根据网络代码改编，自己添加Jsoap 模块支持代理，jsoup-1.8.1.jar（需要的jar包在网上）1、java代码：package constant; public class Constant { public static final
2015-05-27 14:18:30
1072
转载 cui-----巧用备份数节省hdfs空间
文章来源：http://blog.csdn.net/cuilanbo/article/details/8469938我们最近遇到一个问题，hdfs硬盘空间不足。各位有没有遇到类似的问题呢？仔细分析了一下，发现hdfs下有这样一类文件，留之无大用，弃之可惜。比如说最原始的日志文件........本来留下他是用来做保险的，但是不一定能用的上，并且占据很大空间
2015-05-27 09:43:04
426
转载 cui-----hadoop配置自动清理日志
文章来源：http://blog.csdn.net/cuilanbo/article/details/8482295hadoop集群跑了很多的任务后在hadoop.log.dir目录下会产生大量的日志文件。可以通过配置core-site.xml文件让集群自动清除日志文件：[html] view plaincopyprint?
2015-05-27 09:40:21
2143
转载 cui-----Hadoop动态添加删除datanode及tasktracker【需要整理】
文章来源：首先建议datanode和tasktracker分开写独立的exclude文件，因为一个节点即可以同时是datanode和tasktracker，也可以单独是datanode或tasktracker。 1、删除datanode修改namenode上的hdfs-site.xml[plain] view plaincopypri
2015-05-27 09:37:47
485
转载 wang-----Flume NG 简介及配置实战
文章来源：http://blog.csdn.net/haydenwang8287/article/details/45150583大数据flumeclouderaFlume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着
2015-05-21 08:58:45
509
转载 wang----- 用Java实现Google的“您是不是要找”功能
文章来源：http://blog.csdn.net/haydenwang8287/article/details/5777112引言很多人在使用搜索引擎的时候，会出于各种原因，拼错想要搜索的关键字，比如键盘有问题（某个按键坏了）、不熟悉国际名称（弗洛伊德的全名Sigmund Freud）、不小心写错字母（Sinpsons）或多写了一个字母（Frusciaante）。
2015-05-21 08:55:50
819
转载 wang-----利用Kafka, Cloudera Search以及Hue实现实时日志分析系统【extention】
文章来源：http://blog.csdn.net/haydenwang8287/article/details/44341247cloudera的官方blog中有偏文章，写的非常详细。系统架构图如下：文章的详细地址为： http://blog.cloudera.com/blog/2015/02/how-to-do-real-time-log-ana
2015-05-21 08:53:06
799
转载 wang-----ElasticSearch的工作机制
文章来源：http://blog.csdn.net/haydenwang8287/article/details/44158633ElasticSearch，和Solr一样，是底层基于Apache Lucene，且具备高可靠性的企业级搜索引擎。ElasticSearch中的一些概念其实和关系型数据库都有对应关系，比如数据库在ES中被称为索引，表在ES中被称作Type。具
2015-05-21 08:48:41
630
转载 wang-----solr和elasticsearch比较
文章来源：http://blog.csdn.net/haydenwang8287/article/details/44158605solr的分布式搜索有个比较纠结的问题是：不会自动负载均衡。不过solr4已经提供简单的自动负载均衡，不知道效果如何，有待生产环境考验。elasticsearch是一个比较成熟的分布式搜索引擎，配置也很简单。提供一个elasticsearch
2015-05-21 08:46:42
513
转载 wang-----hadoop集群监控工具ambari
文章来源：http://blog.csdn.net/haydenwang8287/article/details/44101273Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hc
2015-05-21 08:41:21
985
转载 wang-----Ganglia监控Hadoop及Hbase集群性能(安装配置)
文章来源：http://blog.csdn.net/haydenwang8287/article/details/441006511 Ganglia简介Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机
2015-05-21 08:38:45
787
转载 代立东-----使用MAT分析内存泄露【还有其他文章都是BigData优化方面的内容，很有用】
文章来源：http://blog.csdn.net/oDaiLiDong/article/details/45840163?ref=myread使用MAT分析内存泄露对于大型服务端应用程序来说，有些内存泄露问题很难在测试阶段发现，此时就需要分析JVM Heap Dump文件来找出问题。随着单机内存越来越大，应用heap也开得越来越大，动辄十几G的Dump也不足为奇了。要快速分析
2015-05-21 08:26:24
531
转载 *****MapReduce连接：重分区连接【里面分析了org.apache.hadoop.contrib.utils.join包中的基础数据join原理和优化后的抽象类】
文章来源：http://database.51cto.com/art/201403/432929.htm连接是关系运算，可以用于合并关系（relation）。对于数据库中的表连接操作，可能已经广为人知了。在MapReduce中，连接可以用于合并两个或多个数据集。例如，用户基本信息和用户活动详情信息。用户基本信息来自于OLTP数据库。用户活动详情信息来自于日志文件。
2015-05-20 17:40:33
664
转载 hadoop的mapreduce的join操作原理【里面用例子讲解的，但是没理解，怎么执行程序】
文章来源：http://f.dataguru.cn/thread-236390-1-1.html1. 概述如果我们有如下的两个文件：person.txt(字段是id， name，addressId):1 tom 1002 jme 1013 kite 1024 jack 1
2015-05-20 16:43:48
762
转载 使用Hadoop的datajoin包进行关系型join操作【hadoop关系型join，源码解析及如何应用jar包中的抽象类】
文章来源：http://www.linuxidc.com/Linux/2012-08/68407.htmhadoop4.2.1中datajoin源码所在位置：datajoin包在Hadoop的contrib目录下，我们也可以在src下面看见其源码，它的源码很小，我建议大体看看以了解其原理。利用datajoin进行join操作，在《Hadoop in action》里
2015-05-20 15:55:27
532
转载 基于Solr的HBase多条件查询测试【重要】
文章来源：http://www.dataguru.cn/article-3815-1.html摘要: 背景： 某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快 速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方 ...背景：
2015-05-20 15:27:03
790
转载 多组条件查询【具体怎么实现】
文章来源：http://www.solrcn.com/?p=333Lucene 和 solr 支持多个查询条件查询，这些条件使用括号进行分组，使用布尔表达式进行连接，如下所示：(jakarta OR apache) AND website该表达式表示，所查结果中必须包含 website，然后 jakarta 和 apache 两个中必须包含一个。
2015-05-20 14:18:35
845
转载 Solr多字段与或关系查询【需要完善】
资料来源：http://www.oschina.net/question/217188_38123之前也问过相关solr多域自定义查询，这里说的多域查询不是配置文件中的copyfield有些网站中一般有个简单搜索和高级搜索，不知道配置文件中能否搞多个搜索模式我的理解是配置文件schema.xml配置的多域可以算作简单搜索中的域搜索，一般的也就是或的关系而
2015-05-20 14:16:29
3985
转载 solr查询优化（实践了一下效果比较明显）
文章来源：http://blog.csdn.net/kuyuyingzi/article/details/17651451什么是filtercache？ solr应用中为了提高查询速度有可以利用几种cache来优化查询速度，分别是fieldValueCache，queryResultCache，documentCache，filtercache，在日常使用中最
2015-05-20 13:45:25
754
转载 awj-----TermQuery进行多字段搜索【lucene中调用此类extends Query对象】
文章来源：http://blog.csdn.net/awj3584/article/details/10001199使用TermQuery进行多字段搜索 Term t1=new Term("lat",queryString); TermQuery q1=new TermQuery(t1); Te
2015-05-20 13:38:22
920
转载 awj-----Solrj日期范围查询
文章来源：http://blog.csdn.net/awj3584/article/details/29001693在做根据日期来检索的时候普通的格式化会出错，试了好多种只有一种可行[java] view plaincopySimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd'
2015-05-20 13:14:30
558
转载 awj-----Solr在结果中返回函数值
文章来源：http://blog.csdn.net/awj3584/article/details/27795119假设你有一个服务，你的用户可以搜索不同的公司，用户输入一个简单的关键字，可以返回匹配关键字的公司，但是有一天，用户要求返回的公司列表中可以显示公司跟用户的距离，这是该怎么做呢？1.假设我们在 schema.xml 中定义了如下索引结构：
2015-05-20 13:10:56
455
转载 Telnet服务的主配置文件【linux服务器中】
文章来源：http://book.51cto.com/art/201108/286748.htm4.2.2 Telnet服务的主配置文件Telnet主配置文件为/etc/xinetd.d/telnet，配置非常简单。Telnet服务器是基于xinetd超级守护进程启动的，本身没有独立启动Telnet服务的能力。当然也可以将其转换为独立启动模式。请按如下方法查看T
2015-05-20 09:09:51
4980
原创 telnet IP【程序和功能中的telnet服务器和客户端都已经打开，防火墙中23端口也开着，就是进不去，请看里面吧！】
一：先检查windows环境中telnet功能是否已经开启：发现都已经打开然后telnet的时候就是报下面的错误：C:\Users\XXXXX>telnet 192.168.1.159正在连接192.168.1.159...无法打开到主机的连接。 在端口 23: 连接失败二：检查防火墙规则中23端口是否开着：发现端口号也开着呢！妹的，但还
2015-05-19 17:30:02
24703
5
转载 chencang-----labin编译错误解决办法
文章来源：http://tinypig.iteye.com/blog/215661在编译larbin的时候会出现2个错误，解决办法如下：http://hi.baidu.com/hustwk/blog/item/b68d9bef232143eacf1b3eed.html 写道adns文件夹下internal.h文件569-571：adns_status adn
2015-05-19 12:26:11
493
转载 chencang-----是使用淘宝API获取数据好，还是利用爬虫去抓取数据好呢
文章来源：http://tinypig.iteye.com/blog/415103RT目前抓了淘宝的200多万家 的店铺地址（URL）了，不知道算不算流氓爬虫。估计爬了他们 95%的店铺地址 ，仅供参考。 发现一个搞笑的店铺，整个店铺里都是卖避孕套之类的，分类到了数码相机类里面去了，哈哈目前不知道taobao会不会把一个店铺分到多个类中，如何
2015-05-19 12:24:58
3114
转载 chencang-----为爬虫设置User-Agent
文章来源：http://tinypig.iteye.com/blog/215513java里面设置User-Agent代码如下Java代码 HttpURLConnection uc = (HttpURLConnection) baseURL.openConnection(); uc.setRequestProperty("User-Agent
2015-05-19 12:23:37
3683
转载 报java.lang.VerifyError错误[tomcat6.0.30_solr4.7.2_webservice执行webservice中solr的查询时，遇到的错误]
文章来源;http://tinypig.iteye.com/blog/214442调试网页时候发现报这个错误：java.lang.VerifyError错误。google了下，看网友们的评述感觉是的jar包的问题，于是仔细检查自己的情况；发现了个奇怪的地方，可能是自己不小心拖动了jar包 导致重复了后来再classpath里面添加了个用到的包，删除了多余
2015-05-19 12:12:48
1023
转载 Caused by: java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory
文章来源：http://blog.sina.com.cn/s/blog_4c6e822d0100obl6.htmlCaused by: java.lang.ClassNotFoundException:org.apache.commons.logging.LogFactory在代码中你写了:ApplicationContext ctx = new FileSystemXmlAppl
2015-05-19 11:16:27
831
转载 eclipse+webservice开发实例【开发环境jdk1.7.0_67+eclipse-jee-luna+tomcat6.0.30+axis2-1.6.1（此为webservice的jar包）】
文章来源：http://blog.csdn.net/xw13106209/article/details/7049614/1.参考文献：1.利用Java编写简单的WebService实例 http://nopainnogain.iteye.com/blog/7915252.Axis2与Eclipse整合开发Web Service http://tech.
2015-05-19 08:29:45
1440
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人