![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
文章平均质量分 72
地狱小子--hellboy
这个作者很懒,什么都没留下…
展开
-
grep-awk-seq快速上手文档
grep-awk-seq快速上手文档grep 正则 文件内容查找特定字符匹配grep '1' /usr/local/logs范围内字符:单个字符[]grep '[a-zA-Z]' /usr/local/logs空行grep '^$' /usr/local/logs匹配包含 e fgrep 'e.*f' /usr原创 2017-07-27 16:22:08 · 472 阅读 · 0 评论 -
Centos没有网卡eth0配置文件
复制 /etc/sysconfig/network-scripts/ifcfg-lo 改名 ifcfg-eth0内容修改如下DEVICE=eth0NETMASK=255.255.255.0NETWORK=192.168.0.0BROADCAST=127.255.255.255ONBOOT=yesDEVICE="eth0"B原创 2017-07-25 11:36:13 · 2826 阅读 · 0 评论 -
liunx安装jdk及VisualVM性能配置
官网地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html1.) 文件jdk-7u17-linux-x64.tar.gz放在/root/tools/2.) sudo tar zxvf /root/tools/jdk-7u17-linux-x64.t原创 2017-07-27 16:27:04 · 826 阅读 · 0 评论 -
vmware11配置vmware-tools实现windows文件与vm文件共享
#参考地址http://jingyan.baidu.com/article/ca00d56c74dde4e99eebcfd2.htmlroot用户进入#在任意位置,新建一个目录 /mnt/cdrom, 用于挂载虚拟光驱(cd):mkdir /mnt/cdrom#将目录 /mnt/cdrom挂载在虚拟光驱 /dev/cdrom:mount /dev/cdrom /原创 2017-07-27 16:30:34 · 1351 阅读 · 0 评论 -
spark集群
-------------------------------------------------------VM模版--------------------------------------------------------------1.)安装VM (虚拟机设置-》硬件-》网络适配器-》桥接模式) 所有主机root 123456vi /etc/sysconfig/ne原创 2017-07-27 16:32:13 · 245 阅读 · 0 评论 -
linux集群时间同步,ntpd、ntpdate
spark001 spark002 spark003 都安装 yum install ntp----------------------------------------------spark001---------------------------------- 修改配置文件/etc/ntp.conf,在其中插入: restrict原创 2017-07-28 11:26:58 · 598 阅读 · 1 评论 -
shell常用命令
shell 常用笔记.当前目录 .. 上级目录 ~用户根目录(/home/lzm)文件状态测试 -d 目录 -s 文件长度大于0 -f 正规文件 -w 可写 -L 符号连接 -u 文件有suid位设置 -r原创 2017-07-28 16:36:25 · 285 阅读 · 0 评论 -
cdh001
-------------------------------------------------------VM模版--------------------------------------------------------------安装VM (虚拟机设置-》硬件-》网络适配器-》桥接模式) 所有主机root 123456vi /etc/sysconfig/network原创 2017-09-07 14:20:39 · 343 阅读 · 0 评论 -
Cloudera Manager 5和CDH5离线安装,CDH-5.7.1
文件下载CDH (Cloudera’s Distribution, including Apache Hadoop),是hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理转载 2017-08-02 13:42:04 · 359 阅读 · 0 评论 -
Linux系统下安装rz/sz命令及使用说明
可以提示 cc yum install cc对于经常使用Linux系统的人员来说,少不了将本地的文件上传到服务器或者从服务器上下载文件到本地,rz / sz命令很方便的帮我们实现了这个功能,但是很多linux系统初始并没有这两个命令。今天,我们就简单的讲解一下如何安装和使用rz、sz命令。1.软件安装root 账号登陆后,依次执行以下命令:转载 2017-07-24 16:00:06 · 431 阅读 · 0 评论 -
Hadoop HA on Yarn——集群配置
集群搭建因为服务器数量有限,这里服务器开启的进程有点多:机器名 安装软件 运行进程 hadoop001 Hadoop,Zookeeper NameNode, DFSZKFailoverController, ResourceManagerDataNode, NodeManagerQuorumPeerMa转载 2017-08-01 18:03:18 · 400 阅读 · 0 评论 -
liunx 配置tomcat
官网地址 http://tomcat.apache.org/1.) 文件apache-tomcat-7.0.65.tar.gz放在/root/tools/ 项目编译代码/var/wwwroot/下2.) sudo tar zxvf /root/tools/apache-tomcat-7.0.65.tar.gz -C /root/lzmInstall/tomcat原创 2017-06-16 11:21:48 · 224 阅读 · 0 评论 -
liunx 基础
CentOS 6.4版本,64位http://archive.cloudera.com/cdh5/在整个大数据领域,对于Hadoop 发行版本,有公司Cloudera>>>>>>> 虚拟化工具VMWare1)安装VMWare虚拟机软件2)创建虚拟机 ---- 此处省略3)安装CentOS 6.4操作系统---- 此处省略4)导入已经安装好的虚拟机原创 2017-06-16 11:03:18 · 248 阅读 · 0 评论 -
【Hadoop】HDFS的运行原理
HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。 ③转载 2017-07-31 16:02:39 · 283 阅读 · 0 评论 -
【Hadoop】Yarn 框架原理及运作机制
1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。转载 2017-07-31 16:13:11 · 227 阅读 · 0 评论 -
hive学习笔记
1. HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 hadoop 中的大规模数据的机制。hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 re转载 2017-07-31 17:57:09 · 906 阅读 · 1 评论 -
Hbase原理、基本概念、基本架构
概述HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服转载 2017-07-31 18:09:44 · 212 阅读 · 0 评论 -
Sqoop_详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
一简介Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。二特点Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。转载 2017-08-01 11:37:32 · 711 阅读 · 0 评论 -
Flume架构以及应用介绍
在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程: 从hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 (一)Flume架构介绍 1、Flume的概念 flume是分布式的日转载 2017-08-01 14:58:35 · 273 阅读 · 0 评论 -
无密码登陆
ssh-keygen -t rsa在~/.ssh/目录中生成两个文件id_rsa和id_rsa.pub如果想从hadoop001免密码登录到hadoop002中要在hadoop001中执行ssh-copy-id -i ~/.ssh/id_rsa.pub [用户名]@hadoop002这里为了实现任何机器之间都可以免密码登陆,所以在hadoop001中再执行两原创 2017-09-07 14:12:28 · 227 阅读 · 0 评论