linux
文章平均质量分 53
archer.wu
当你的才华还撑不起你的野心的时候,就应该静下心来学习;当你的能力还驾驭不了你的目标时,就应该沉下心来,历练;梦想,不是浮躁,而是沉淀和积累,只有拼出来的美丽,没有等出来的辉煌,机会永远是留给最渴望的那个人,学会与内心深处的你对话,问问自己,想要怎样的人生,静心学习,耐心沉淀,送给自己,共勉。
展开
-
linux下执行定时任务的方法
var/spool/cron/用户 文件夹下编辑任务crontab -e查看任务crontab -l删除任务crontab -r*/1 * * * * python /root/xytest/pythoncron/cron1.py >> ~/xytest/cronlog/log 2>&1类似上面的样子在crontab中添加这样的命令然后就可以运行了但是,上面的方法还...原创 2018-06-10 13:13:22 · 1943 阅读 · 0 评论 -
hive安装——metadata存储在mysql中
hive安装——metadata存储在mysql中本文介绍如何启动hive,并且把元数据存储在mysql中。本文阅读前提:1、能够运行的hadoop集群。好,下面上货。1、首先需要下载编译好的hive。官网地址:http://mirrors.cnnic.cn/apache/hive/2、运行hadoop集群(略,可以参考http://blog.csd原创 2017-01-18 10:25:21 · 2587 阅读 · 0 评论 -
spark2.0.2环境搭建(hadoop2.7.3)——启动关闭
spark2.0.2环境搭建(hadoop2.7.3)——启动关闭本文主要讲述spark如何在hadoop环境下搭建。阅读完本文之后,能够正常的启动关闭spark。配置前提:配置好hadoop(hdfs和yarn都能正常)。下面,上货。首先去spark的官网上下载1、下载完成后,解压到linux中tar -zxvf spark-2.0.2-b原创 2016-12-17 15:03:19 · 4236 阅读 · 0 评论 -
spark2.0.2测试spark-shell
spark2.0.2测试spark-shell上一篇文章介绍的是如何进行spark环境的搭建以及启动和关闭spark。本篇文章讲述的是如何在spark上利用spark-shell进行简单的测试。下面上货:首先看截图:1、首先进入到命令行模式:/home/spark/bin/spark-shell然后就能看见spark的图标了。2、原创 2016-12-19 00:27:04 · 2826 阅读 · 0 评论 -
hadoop map reduce 中间的combiner的作用
hadoop map reduce 中间的combiner的作用首先简答的介绍一下mapreduce。mapreduce是hadoop的重要组成部分。hadoop由hdfs和mapreduce以及其他一些部分组成。这里的hdfs用来进行分布式存储,mapreduce用来进行大数据处理。mapreduce的过程简单说就是每个块分别进行map处理,把本次处理中关心的数据进行整理。整理后进行re原创 2016-12-15 22:20:40 · 1019 阅读 · 0 评论 -
浅谈hadoop(三)——hadoop简介
浅谈hadoop(三)——简介本文翻译来源hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#The_File_System_NamespaceThe file system namespacehdfs采用一种传统的等级的文件组织方式。用户或翻译 2016-11-28 15:42:40 · 474 阅读 · 0 评论 -
浅谈Hadoop(二)——hadoop简介
浅谈Hadoop(二)——hadoop简介本文翻译来源hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#NameNode_and_DataNodesnamenode and datanodeshdfs采用master/slave的架构模型。翻译 2016-11-28 13:56:58 · 444 阅读 · 0 评论 -
linux shell学习(二)——if else
linux shell学习(二)——if else例子程序如下:#!/bin/bashif datethen echo "ccc"fiif cthen echo "ccc"else echo "BBB"fiif ccthen echo "ccc"elif wethen echo "who"elif cathen echo "mkdf"else原创 2016-11-27 19:56:53 · 510 阅读 · 0 评论 -
linux shell学习(一)——基本指令
linux shell学习(一)——基本指令下面是一个Linux shell脚本的例子:#!/bin/bashecho -n "whta date is it-->"dateecho "see who is in the system"whotesting=`date`echo "the result is $testing"today=`date +%y%m%d`#l原创 2016-11-27 19:04:44 · 474 阅读 · 0 评论 -
linux shell 学习(三)——判断文件和文件夹
linux shell 学习(三)——判断文件和文件夹下面是判断文件和文件夹的相关例子:主要有如下几个方法:-d 文件夹是否存在-e 文件夹或文件是否存在-f 文件是否存在-s 文件是否存在且非空-r 文件是否可读-w 文件是否可写-x 文件是否可执行-O 文件是否存在,且归当前用户所有-G 文件是否存在,且文件所属组合当前用户所属组相同file1原创 2016-11-27 23:04:17 · 1077 阅读 · 0 评论 -
Linux shell 学习(四)——case
Linux shell 学习(四)——case下面是一个case的使用例子:#!/bin/bashvar1="aabbcc"case $var1 in"cc"|"dd") echo "var1 is cc|dd";;"aa") echo "var1 is aa";;"bb") echo "var1 is bb";;*) echo "var1 is $var1";;e原创 2016-11-27 23:24:11 · 287 阅读 · 0 评论 -
浅谈Hadoop(一)——hadoop简介
浅谈Hadoop(一)——hadoop简介本文翻译取材来自hadoop官方文档:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Introduction简介hadoop分布式文件系统(hdfs)被设计成运行在普通硬件环境中的分布式文件系统。他和现有的一些分翻译 2016-11-28 11:09:53 · 1327 阅读 · 0 评论 -
hadoop2.7.3 ha 环境部署——QJM
hadoop2.7.3 ha 环境部署——QJM在部署完federal 集群之后(http://blog.csdn.net/wild46cat/article/details/53423472),再尝试部署ha集群。 ha是high availability的缩写。hadoop ha 集群解决了原来单个namenode出现故障后,整个集群需要其他节点中已经配置的secondaryna原创 2016-12-07 15:44:41 · 1472 阅读 · 0 评论 -
hive创建删除数据库——hive CLI方式和脚本方式
hive创建删除数据库——hive CLI方式和脚本方式本文主要介绍如何通过hive CLI方式和脚本方式进行数据库的创建和删除。本文阅读前提:1、正常运行hadoop环境2、已经配置好hive(可以参考:http://blog.csdn.net/wild46cat/article/details/54598880)好,下面上货。一、使用hiveCLI方式进行数据库原创 2017-01-18 11:17:04 · 1487 阅读 · 0 评论 -
flume学习(一)——安装和一个简单的netcat程序
flume学习(一)——安装和一个简单的netcat程序本文主要参考:http://flume.apache.org/FlumeUserGuide.html#configuring-individual-components首先介绍一下flume的主要作用apache flume 是一个分布式,可靠的,可用的系统,主要用于高效的数据收集,从不同源中移动大量日志数原创 2017-02-10 15:21:20 · 4669 阅读 · 1 评论 -
linux 设置开机启动
linux 设置开机启动本文主要介绍linux如何开机启动某些服务。好,下面看一下例子:vim /etc/rc.local在文件末尾添加你要执行的shell命令/usr/local/apache-tomcat-8.5.24/bin/startup.sh然后重新启动即可。原创 2018-01-24 21:23:19 · 301 阅读 · 0 评论 -
linux 安装java 配置环境变量
linux 安装java 配置环境变量本文主要介绍在linux下安装java,并且配置环境变量。1、下载java安装包。2、tar -zxvf jdk-1.8.143.tar.gz3、把tar开后的文件移动到/usr/localmv /jdk-1.8.143 /usr/local4、配置环境变量vim /etc/profile原创 2017-12-30 16:23:09 · 383 阅读 · 0 评论 -
centos7 ntp 服务安装,局域网同步
centos7 ntp 服务安装,局域网同步在安装cdh的时候,需要使用ntp,对集群中的节点进行实践同步。本文主要介绍如何使用ntp进行时间同步。1、首先安装ntp。yum install ntp2、配置master的ntp服务,这里要说明的是,最为master他是通过外网进行时间获取的。vim /etc/ntp.conf删除掉已经有的server,使用如原创 2017-12-30 15:45:15 · 1865 阅读 · 0 评论 -
centos7 yum 切换成阿里源
centos7 yum 切换成阿里源本文介绍如何快速把centos7的yum源切换成阿里的。1、首先执行命令。curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 2、清空yum 缓存yum clean all 3、执行yum makecach...原创 2017-12-30 15:05:12 · 7486 阅读 · 0 评论 -
centos7 关闭防火墙
centos7 关闭防火墙本文主要介绍如何关闭centos7的防火墙1、查看防火墙状态。firewall-cmd --state2、禁用防火墙systemctl stop firewalld.service3、禁止重新启动时重启防火墙systemctl disable firewalld.service4、重新查看防火墙状态fir原创 2017-12-30 14:49:45 · 682 阅读 · 0 评论 -
linux centos7安装mysql——字符配置,访问配置
linux centos7安装mysql——字符配置,访问配置本文主要介绍如何在centos7下安装mysql。主要参考:http://blog.51cto.com/professor/17837691、下载rpm源https://dev.mysql.com/downloads/file/?id=4702812、下载完成后执行命令rpm -Uvh mysql57-com...原创 2018-01-03 07:37:14 · 643 阅读 · 0 评论 -
rsync 同步工具使用
rsync 同步工具使用rsync可以用来同步本地和远端的文件。我们在维护hadoop集群的时候经常需要批量修改参数,修改完成后需要同步到每个节点上。我们可以使用rsync这个工具完成这样的操作。本文主要参考:官网手册下面上货。1、安装rsync,在每一台机上。yum install rsync2、同步本地文件到本地文件rsync -原创 2017-12-31 13:24:17 · 438 阅读 · 0 评论 -
hadoop2.9.0集群搭建
hadoop2.9.0集群搭建本文主要介绍hadoop2.9.0的搭建。本文主要参考:官网指南 centos7 关闭防火墙 centos7 yum 切换成阿里源centos7 ntp 服务安装,局域网同步linux 安装java 配置环境变量好,下面开始上货。1、安装三台linux,ip分别为192.168.0.61 192.168.0原创 2017-12-30 21:05:33 · 2024 阅读 · 1 评论 -
netcat nc 学习
netcat nc 学习本文主要参考文章:http://www.g-loaded.eu/2006/11/06/netcat-a-couple-of-useful-examples/好,下面上货。我使用的系统是centos6.8。1、首先需要安装ncyum install nc2、使用nc的聊天功能在服务器端使用-l进行端口的监听:nc原创 2017-02-10 11:03:14 · 570 阅读 · 0 评论 -
dos linux 生成带有时间戳的文件
dos linux 生成带有时间戳的文件在生成日志文件的时候,最常见的方式就是在文件的结尾加上时间戳。下面是windows dos方式和Linux方式生成带有时间戳文件的例子:DOS:echo 112233>%date:~0,4%%date:~5,2%%date:~8,2%%time:~0,2%%time:~3,2%%time:~6,2%.txt原创 2017-03-21 11:45:16 · 4799 阅读 · 0 评论 -
VirtualBox CentOS6.x——安装增强包
VirtualBox CentOS6.x——安装增强包之前一直参考别人的教程,自己没有整理,现在整理一下,方便以后的使用首先是环境:virtualbox5.1CentOS6.8下面上货:1、首先需要更新yum的源,使用阿里的源。参考文章:http://www.centoscn.com/CentOS/config/2015/0416/5189.htmlCe原创 2017-01-05 10:57:56 · 1287 阅读 · 0 评论 -
yum 安装后保留rmp安装包
yum 安装后保留rmp安装包如题:想要在yum安装后不清理安装包,应该怎么做?本文主要参考:http://www.centoscn.com/CentOS/Intermediate/2015/0111/4472.html好,下面上货。可以设置升级后不删除下载的rpm包vi /etc/yum.conf[main]cachedir=/var/cach原创 2017-02-26 22:09:12 · 2992 阅读 · 0 评论 -
hbase 配置(hbase-site.xml)和基本使用
hbase 配置(hbase-site.xml)和基本使用本文主要参考:http://www.cnblogs.com/ggjucheng/archive/2012/05/04/2483474.html首先,在安装配置hbase之前,首先需要保证zookeeper能够正确的运行在每台机器上(zookeeper的配置可以参考这这篇文章:http://blog.csdn.net/wild46ca原创 2016-11-18 11:23:01 · 31462 阅读 · 2 评论 -
hbase中zookeeper是内部还是外部
hbase中zookeeper是内部还是外部在配置hbase运行后,发现能够按照官网上提供的信息显示出来了。参考文档:http://hbase.apache.org/book.html#quickstart官方文档上还指出,目前Hbase使用的是内部的zookeeper,如果想使用外部的zookeeper,那么需要做如下配置hbase文件夹下conf/hbase-e原创 2016-11-18 14:49:04 · 2816 阅读 · 1 评论 -
hbase 备份HMatser服务——完全分布式
hbase 备份HMatser服务——完全分布式如果目前使用的是伪分布式,那么请看这篇文章实现备份HMaster服务:http://blog.csdn.net/wild46cat/article/details/532184891、保证正常的HBase能够跑起来:2、关闭HBase服务:stop-hbase.sh3、在hbase/conf/文件加原创 2016-11-18 17:14:48 · 1463 阅读 · 0 评论 -
hadoop2.7.3在集群中配置多个namenode(federation cluster)
hadoop2.7.3在集群中配置多个namenode首先需要说明的是,在集群中配置多个namenode和在集群中使用secondaryNamenode是完完全全的两码事。具体是如何区分的,我之后会在写一篇haoop官方当中的译文,同时解释一下这两者的区别。在这里先简答的说一下。secondaryNamenode的作用是给namenode分担压力的,会定时的帮助namenode做一些处理。而配原创 2016-12-01 16:56:46 · 12371 阅读 · 2 评论 -
hadoop hdfs多次format后如何处理
hadoop dfhs多次format后如何处理问题:集群跑起来后所有的参数都是0。1、查看namenode和datanode的文件夹在哪里。2、进入文件夹,找到一个叫做VERSION的文件。查找到文件中的这个clusterID字段需要保证当前正在使用的namenode和datanode中的clusterID是相同的。这样集群原创 2016-12-01 17:34:45 · 4089 阅读 · 0 评论 -
hbase HMaster backup(备份)处理——伪分布式
hbase HMaster backup(备份)处理本文主要参考:hbase官方文档,原文如下:现在解释一下大致的内容:开启一个备份HMaster服务,HMaster服务控制Hbase集群,你最多可以运行9个备份HMaster服务,加上本身的HMater服务,最多能够有10个HMaster服务同时存在。开启HMaster服务使用如下命令:local-master-backu原创 2016-11-18 16:46:22 · 2733 阅读 · 0 评论 -
hadoop 配置Snapshot
hadoop 配置Snapshot本文主要参考hadoop官方文档:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html首先看一下hadopp中的目录配置hadoop的Snapshot的步骤:1、启用某个目录为允许Snapshot。hdfs原创 2016-12-01 12:02:43 · 1108 阅读 · 0 评论 -
Linux shell 学习(八)——读取参数
Linux shell 学习(八)——读取参数下面是例子程序#!/bin/bashread nameecho "$name"read -p "set your age " ageecho "your age is $age"read -p "set your address "echo "your address is $REPLY"if read -t 3 -p "原创 2016-11-30 20:54:51 · 514 阅读 · 0 评论 -
浅谈hadoop(五)——hadoop简介 文件系统元数据的持久化
浅谈hadoop(五)——hadoop简介本文翻译素材来自hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_ReplicationThe Persistence of File System Metadata h翻译 2016-11-30 17:33:07 · 1747 阅读 · 0 评论 -
浅谈hadoop(四)——hadoop简介
浅谈hadoop(四)——hadoop简介本文翻译素材来自hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_ReplicationReplica Placement: The First Baby Steps翻译 2016-11-30 14:23:25 · 488 阅读 · 0 评论 -
zookeeper配置详解
zookeeper配置详解本文主要目的是记录一下配置zookeeper的过程,详细的过程请参考官网:http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html1、下载zookeeper.tar.gz2、解压文件夹,放在指定目录tar -zxvf zookeeper.tar.gzmv zookeeper/原创 2016-11-17 19:51:34 · 979 阅读 · 1 评论 -
Linux shell 学习(七)——读取参数
Linux shell 学习(七)——读取参数下面是一个例子程序:#!/bin/bashecho $0echo `basename $0`echo $1echo $2echo "=========count==========="echo $#echo "=========all params==========="echo $*echo $@count=1ech原创 2016-11-29 20:08:50 · 380 阅读 · 0 评论 -
Linux shell学习(六)while循环 until循环
Linux shell学习(六)while循环 until循环下面是例子程序:#!/bin/bashecho "==========while=========="var=10while [ $var -gt 0 ]do echo $var var=$[ $var - 1 ]doneecho "==========until==========原创 2016-11-28 22:29:39 · 370 阅读 · 0 评论