![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yun
buster2014
没有比人更高的山,没有比脚更长的路...
展开
-
CentOS yum 源的配置与使用
文章来源:http://www.cnblogs.com/mchina/archive/2013/01/04/2842275.htmlCentOS yum 源的配置与使用一、yum 简介 yum,是Yellow dog Updater, Modified 的简称,是杜克大学为了提高RPM 软件包安装性而开发的一种软件包管理器。起初是由yellow dog 这一发转载 2016-02-28 16:39:23 · 558 阅读 · 0 评论 -
一致性hash和solr千万级数据分布式搜索引擎中的应用【重要】
文章来源:http://blog.jobbole.com/47023/互联网创业中大部分人都是草根创业,这个时候没有强劲的服务器,也没有钱去买很昂贵的海量数据库。在这样严峻的条件下,一批又一批的创业者从创业中获得成功,这个和当前的开源技术、海量数据架构有着必不可分的关系。比如我们使用mysql、nginx等开源软件,通过架构和低成本服务器也可以搭建千万级用户访问量的系统转载 2015-06-10 14:39:58 · 1166 阅读 · 0 评论 -
Linux下设置export JAVA_OPTS选项进行tomcat JVM内存设置【 linux下tomcat的参数JAVA_OPTS必须设在catalina.sh中cygwin=false前】
文章来源:http://www.360sdn.com/tomcat/2014/0424/3115.htmlLinux下设置export JAVA_OPTS选项进行tomcat JVM内存设置常见的内存溢出有以下两种:java.lang.OutOfMemoryError: PermGen spacejava.lang.OutOfMemoryError: Java转载 2015-06-09 10:14:41 · 21732 阅读 · 0 评论 -
linux mail命令用法浅析【用最简单的测试一下就可以了如 "mail 真实的邮箱账号"具体操作见下一篇文章】
文章来源:http://www.jb51.net/LINUXjishu/183047.html这篇文章主要介绍了linux mail命令用法浅析,分别讲解了邮件发送方法、发送附件的方法、查看邮件的方法等,需要的朋友可以参考下在这里整理一下Linux中mail命令的使用。mail也是一个常用的命令,我们在很多地方都要用到它,比如定时把系统状况或日志转载 2015-06-05 15:37:57 · 1072 阅读 · 0 评论 -
crond不执行原因分析【必须检查的几个地方,详见文章内容】
文章来源:http://blog.csdn.net/doc_sgl/article/details/41653641自己写了个脚本,让crond来周期性执行脚本进行备份,但是在crontab -e里面加入了执行脚本之后,发现没有执行,后来分析了一下,crond不执行的原因主要有以下几个方面:1、crond服务没启动service crond start转载 2015-06-04 12:13:32 · 1937 阅读 · 0 评论 -
Linux系统下使用mail发送一封简单的Internet邮件【以及验证邮件是否发送成功sendmail -bp,必须是root用户才可以使用此命令查看邮件消息队列中的内容】
文章来源:http://www.jb51.net/LINUXjishu/82069.htmlLinux系统下使用mail发送Internet邮件,在介绍mail之前先来看一下先来看一下sendmail服务用惯了windows系统的用户可能一开始对linux系统掌握不好,很多功能可能用起来不是很习惯。本文就介绍了linux系统的一个小应用:在Linux系统转载 2015-06-05 15:42:27 · 5558 阅读 · 0 评论 -
实战-----使用crond 在linux中定时执行任务
文章来源:实战:http://www.im286.com/thread-5000085-1-1.html使用crond 在linux中定时执行任务 定期运行程序或者脚本是管理员要面临一个很普遍的问题 一、 使用crond监控程序运行程序 1. 使用cron来定期执行任务 使用crond (cron监控程序)来定期运行一些任务,比如备份转载 2015-06-04 12:08:41 · 549 阅读 · 0 评论 -
使用crontab,让linux定时执行shell脚本【crontab -e】
文章来源:http://blog.csdn.net/allenlinrui/article/details/7490206使用crontab你可以在指定的时间执行一个shell脚本或者一系列Linux命令。例如系统管理员安排一个备份任务使其每天都运行入门# crontab –e这样可以已编辑模式打开个人的crontab配置文件,然后加入一下这行:转载 2015-06-03 18:19:07 · 5943 阅读 · 0 评论 -
Shell读取用户输入【以及循环读取验证和while循环中添加多个条件[ .. ] &&或者|| [ .. ]】
文章来源:http://blog.csdn.net/zilong00007/article/details/668109014.2 读取用户输入14.2.1 变量上一章我们谈到如何定义或取消变量,变量可被设置为当前shell的局部变量,或是环境变量。如果您的shell脚本不需要调用其他脚本,其中的变量通常设置为脚本内的局部变量(参见第13.10节“变量”)。转载 2015-06-03 14:19:24 · 7294 阅读 · 0 评论 -
SolrCloud Wiki翻译(1) Getting Started with SolrCloud
文章来源:http://my.oschina.net/zengjie/blog/197960摘要 最近公司计划要上线SolrCloud,在这方面研究了一下下,碰到了不少问题,后来看了一遍Wiki才发现好多问题都有说明,是可以避免的,看来要改一下这种不看文档的毛病了,所以这里把新版SolrCloud wiki翻译并且记录一下,加以巩固 原文地址 https://cwiki.a转载 2015-06-10 14:43:42 · 471 阅读 · 0 评论 -
cui-----巧用备份数节省hdfs空间
文章来源:http://blog.csdn.net/cuilanbo/article/details/8469938我们最近遇到一个问题,hdfs硬盘空间不足。各位有没有遇到类似的问题呢?仔细分析了一下,发现hdfs下有这样一类文件,留之无大用,弃之可惜。比如说最原始的日志文件........本来留下他是用来做保险的,但是不一定能用的上,并且占据很大空间转载 2015-05-27 09:43:04 · 426 阅读 · 0 评论 -
Hadoop0.23.0初探3---HDFS NN,SNN,BN和HA
文章来源:http://blog.sina.com.cn/s/blog_4a1f59bf01010yhp.html前言保证HDFS高可用是Hadoop被推广以来很多技术人员一直关心的问题,通过搜索引擎搜索也可以得到很多的方案。恰逢HDFS Federation出炉,本文将一些涉及到有关NameNode、SecondaryNameNode、BackupNode的含义与区别,以及HDFS转载 2015-04-18 21:11:44 · 523 阅读 · 0 评论 -
Lambda架构与推荐在电商网站实践
Lambda架构与推荐在电商网站实践2015-11-24 16:36| 发布者: 炼数成金_小数| 查看: 14636| 评论: 0|原作者: 王富平|来自: 高可用架构摘要: 高可用架构分享及传播在架构领域具有典型意义的文章,本文根据王富平分享记录。转载请注明高可用架构公众号ArchNotes。王富平现为1号店搜索与精准化部门架构师,之前在百度从事数据挖掘相关工作转载 2016-03-12 22:43:13 · 1508 阅读 · 0 评论 -
LRU缓存介绍与实现 (Java)
文章来源:http://blog.csdn.net/beiyeqingteng/article/details/7010411引子:我们平时总会有一个电话本记录所有朋友的电话,但是,如果有朋友经常联系,那些朋友的电话号码不用翻电话本我们也能记住,但是,如果长时间没有联系了,要再次联系那位朋友的时候,我们又不得不求助电话本,但是,通过电话本查找还是很费时间的。但是,我们大脑能够记转载 2015-11-28 16:43:44 · 454 阅读 · 0 评论 -
Hadoop集群中引入新DataNode节点
文章来源:http://anyoneking.com/archives/594Hadoop集群中引入新DataNode节点2013-04-10 19:34 | By: 懒散狂徒 | Hadoop | 13,717 views | 抢沙发 | 例如新增的节点ip为192.168.1.xxx在所有nn和dn节点上增加192.168.1.xxx转载 2016-01-15 21:15:58 · 704 阅读 · 0 评论 -
hadoop数据节点通信异常【启动hadoop集群遇到错误org.apache.hadoop.ipc.Client: Retrying connect to server】
文章来源:http://anyoneking.com/archives/594hadoop数据节点通信异常2013-04-21 16:37 | By: 懒散狂徒 | Hadoop | 13,898 views | 抢沙发 | 在前几天,我们的hadoop集群很不稳定。经常会有1个数据节点挂掉。使用jps查看,tasktracker和datanode均正转载 2016-01-15 20:49:38 · 4068 阅读 · 0 评论 -
linux中bridge mode和NAT mode成功ping www.baidu.com必须注意检查核对的地方[操作系统为centos6.6版本]
ip设置,网关设置,主机名设置,ip和主机名映射关系设置,域名服务器设置① /etc/sysconfig/network-scripts/ifcfg-eth0 修改IPADDR、NETMASK、GATEWAY、DHCP[static或者dynamic]② /etc/sysconfig/network/ ...原创 2015-04-04 17:22:00 · 1357 阅读 · 0 评论 -
实时分布式具备高容错性的计算系统storm------核心topology架构图和storm运行topology的工作流程图
文章来源:http://blog.csdn.net/yangbutao/article/details/8445630 hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据库中如HBase,便于后续的查询。 面对的大转载 2015-10-25 15:35:35 · 1879 阅读 · 0 评论 -
hadoop2.6.0执行自带wordcount出现异常
文章来源:http://blog.csdn.net/vickyrocker1/article/details/47299391[root@namenode hadoop-2.6.0]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount hdfsInput hdf转载 2015-09-16 09:45:49 · 1644 阅读 · 0 评论 -
WIN7下运行hadoop程序报:Failed to locate the winutils binary in the hadoop binary path
文章来源:http://blog.csdn.net/vickyrocker1/article/details/47341183之前在mac上调试hadoop程序(mac之前配置过hadoop环境)一直都是正常的。因为工作需要,需要在windows上先调试该程序,然后再转到linux下。程序运行的过程中,报 Failed to locate the winutils binary转载 2015-09-16 09:35:06 · 2494 阅读 · 0 评论 -
linux shell 按行循环读入文件方法
文章来源:http://blog.csdn.net/hittata/article/details/7042779linux shell 按行循环读入文件常用代码如下:[html] view plaincopy#/bin/bash printf "****************************转载 2015-06-03 17:23:50 · 2665 阅读 · 0 评论 -
读shell基础:执行顺序(||及&&,{}及())及正则表表达式 【()和{}的用处】
文章来源:http://blog.chinaunix.net/uid-23733005-id-76686.html【多篇文章将shell基础,可以去观看】读完这个,&&和||仍然没有花心思去看,所以还木有理解。先说说后面的正则表达式吧!觉得挺好玩的!之前先看看()和{}的区别:(注意:前括后的后面和后括号的前面是有空格的)当你希望执行读多个命令的时候,会用到上面的两个括号。转载 2015-06-03 14:15:41 · 909 阅读 · 0 评论 -
linux下删除某一时间段的文件
文章来源:http://www.360doc.com/content/14/0228/23/6496277_356595204.shtml在Linux下实现批量删除文件的方法很多,而正如标题中所提到的一样。想要对某一时间段内的文件进行删除,可以通过find实现,find中有几个关于指定时间的参数。而且find还可以指定删除比某个文件的时间早或比别一个文件时间晚的所有文件进行删除转载 2015-05-29 09:12:24 · 6758 阅读 · 0 评论 -
Linux如何开机自动运行自己的脚本
文章来源:http://jiajun.iteye.com/blog/387265 记录这个事情是上次完成之后,今天要新加一个文件夹,一时之间忘记以前怎么做了,因为有几种方法,起码我知道三种方法,这里记录一笔以前的做法,觉得最简单:操作系统:CentOS-5.2目 标:开机自动挂载局域网中windows的共享目录 一、roo转载 2015-05-29 08:52:34 · 623 阅读 · 0 评论 -
cui-----hadoop配置自动清理日志
文章来源:http://blog.csdn.net/cuilanbo/article/details/8482295hadoop集群跑了很多的任务后在hadoop.log.dir目录下会产生大量的日志文件。可以通过配置core-site.xml文件让集群自动清除日志文件:[html] view plaincopyprint?转载 2015-05-27 09:40:21 · 2137 阅读 · 0 评论 -
cui-----Hadoop动态添加删除datanode及tasktracker【需要整理】
文章来源:首先建议datanode和tasktracker分开写独立的exclude文件,因为一个节点即可以同时是datanode和tasktracker,也可以单独是datanode或tasktracker。 1、删除datanode修改namenode上的hdfs-site.xml[plain] view plaincopypri转载 2015-05-27 09:37:47 · 484 阅读 · 0 评论 -
添加和删除hadoop集群中的节点
1:添加节点A:新节点中添加账户,设置无密码登陆B:Name节点中设置到新节点的无密码登陆C:在Name节点slaves文件中添加新节点D:在所有节点/etc/hosts文件中增加新节点(所有节点保持一致)E:在新节点中执行./bin/hadoop-daemon.sh start datanode./bin/hadoop-daemon.sh start tas转载 2015-04-22 22:00:53 · 946 阅读 · 0 评论 -
fail-windows7+eclipse+hadoop2.5.2环境配置 [报错 Access denied for user X方案一:修改配置文件]
文章来源:http://www.cnblogs.com/huligong1234/p/4137133.html一.hadoop集群环境配置 参考我的前一篇文章(ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html) 但本人配置时还修改了如下内容(由于你的环境和转载 2015-05-27 16:06:49 · 973 阅读 · 0 评论 -
配置插件hadoop-1.2.1 eclipse开发环境 【hadoop的eclipse插件hadoop-eclipse-plugin-1.2.1.jar 下载地址和具体用法】
文章来源:http://blog.csdn.net/poisonchry/article/details/27535333hadoop的eclipse插件hadoop-eclipse-plugin-1.2.1.jar 下载地址【0积分下载】:http://download.csdn.net/detail/poisonchry/7412615配置hadoop-转载 2015-03-27 21:01:11 · 3338 阅读 · 0 评论 -
HBase简介(很好的梳理资料) - johnny_HITWH
http://www.tuicool.com/articles/iieIz2转载 2015-04-02 08:39:22 · 513 阅读 · 0 评论 -
linxu中删除指定时间之前的文件shell脚本
文章来源:http://www.111cn.net/sys/linux/63027.htm下面来看一段linxu中删除指定时间之前的文件shell脚本,有需要了解的朋友可参考一下,方法非常的简单实用我自己也使用的这段代码公司要求删除一个月之前的备份文件,免得把硬盘给整爆了,上服务器看了下,居然都有3个月的备份没有清理了,还好是sql备份,不然硬盘空间早就满了.下转载 2015-05-29 09:14:43 · 749 阅读 · 0 评论 -
Linux如何查看进程、杀死进程、启动进程等常用命令
文章来源:http://blog.csdn.net/wojiaopanpan/article/details/7286430关键字: linux 查进程、杀进程、起进程1.查进程 ps命令查找与进程相关的PID号: ps a 显示现行终端机下的所有程序,包括其他用户的程序。 ps -A 显示所有程序。 ps c 列出程序时,显示每个程序真正的转载 2015-05-29 08:47:04 · 8090 阅读 · 0 评论 -
虚拟机linux的ip和dns设置 【仅供参考】
文章来源:http://blog.chinaunix.net/uid-26446098-id-3261790.html今天弄了一天的虚拟机linux连接外网的问题.终于弄成功了。把问题都整理出来,以防以后忘记我安装的是redhat linux 5.4(64位).在安装的界面的时候,就配置了ip,子网掩码,网关,(没有配置DNS).虚拟机使用的是bridged.转载 2015-05-11 09:18:34 · 9706 阅读 · 0 评论 -
linux shell随记
#!/bin/bash#[测试]#ls /aa &>>aa.txt|| echo $?#吧输出结果输入到日志中【测试】#! [ `ls /home &>> aa.txt||echo $?` -gt 0 ] && echo 'chengggong' || echo 'shibai' #第一个命令执行成功,则输出成功,失败则输出失败,运行结果和错误都输出到一个文件中ls /ro原创 2015-06-03 10:08:50 · 411 阅读 · 0 评论 -
shell脚本中echo显示内容带颜色 【常用】
文章来源:http://www.cnblogs.com/lr-ting/archive/2013/02/28/2936792.htmlshell脚本中echo显示内容带颜色显示,echo显示带颜色,需要使用参数-e 格式如下: echo -e "\033[字背景颜色;文字颜色m字符串\033[0m" 例如: echo -e "\033[41;36m so转载 2015-06-03 11:53:46 · 927 阅读 · 0 评论 -
VMware workstation NAT方式无法连接外网[自己NAT方式的网关设置错误,导致ping www.baidu.com不通]
一直使用vmware workstation的NAT方式联网,但是从没有用虚拟机访问外网过,今天突然需要使用了,可是就是无法连接。现在记录下来NAT方式连接外网的过程首先把关于vmware workstation安装程序在host创建出来的vm8虚拟网卡功能进行说明很多人都会以为该虚拟网卡,就是为workstation中NAT方式连接外网所使用的网卡,其实不然,这个虚拟转载 2015-04-04 16:59:50 · 7909 阅读 · 0 评论 -
linux 之 date 命令【文件备份的时候可以用到此】
文章来源:http://blog.chinaunix.net/uid-7754265-id-2561605.html题目:获取昨天的时间 在备份的时候,通常需要备份前天的文件,这些文件是以日期命名的。 date命令可以显示当前时间,如果知道这个,你肯定会想到用脚本来实现,下面的脚本 确实可以获取昨天的日期,而且准确: ################ SHE转载 2015-04-28 09:23:17 · 1137 阅读 · 0 评论 -
VMware workstation的理解【功能和作用以及原理】
总结中。。。原创 2015-06-02 12:04:10 · 3127 阅读 · 0 评论 -
配置Linux下的时间服务器,让一批机器和一台机器时间同步【设置一台专门用来同步时间的服务器名为timeserver,很实用】
Linux自带了ntp服务 -- /etc/init.d/ntpd,这个服务不仅可以设置让本机和某台/某些机器做时间同步,他本身还可以扮演一个time server的角色,让其他机器和他同步时间。配置文件就是/etc/ntp.conf。 为了测试,在公司设置让sales -- 192.168.0.3和router -- 192.168.0.1做时间同步。router做time se转载 2015-04-28 09:43:56 · 6168 阅读 · 0 评论 -
Linux下如何查看服务器配置?
文章:http://emb.sunplusedu.com/answer/2013/0613/1676.html转载 2015-05-04 14:08:38 · 582 阅读 · 0 评论