![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 71
仙人掌仙人
这个作者很懒,什么都没留下…
展开
-
大数据Linux命令之权限与修改权限
一、权限权限是操作系统用来限制资源访问的机制,权限一般分为读、写、执行。系统中每个文件都拥有特定的权限、所属用户及所属组,通过这样的机制来限制哪些用户、哪些组可以对特定的文件进行什么样的操作。每个进程都是以某个用户的身份运行,所以进程的权限与该用户的权限一样,用户的权限越大,该进程所拥有的权限也就越大。权限分为用户、用户、其他组,linux中文件与目录是由r读、w写、x执行来构建整个...原创 2018-09-23 21:36:43 · 460 阅读 · 0 评论 -
hadoop之hdfs的3个节点以同一进程启动
HDFS三个进程启动都以xxxxxxxx启动:以我自己的机器名称为例:HDFS三个进程启动以hadoop001启动:etc/hadoop目录下设置之前在部署hdfs时候修改了core-site.xml文件slaves文件(1)在core-site.xml文件中修改fs.defaultFS参数为hadoop001,使NameNode进程以hadoop001启动。(2)在slaves文...原创 2018-10-05 15:47:15 · 603 阅读 · 0 评论 -
hadoop之hdfs命令剖析
(1)查看hdfs主从架构进程[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ jps13490 DataNode14800 ResourceManager13366 NameNode25008 Jps13651 SecondaryNameNode(2)jps命令的位置:来自java[hadoop@hadoop001 hadoop-2.6.0...原创 2018-10-05 15:57:28 · 243 阅读 · 0 评论 -
hadoop之ssh命令、scp命令与建立多台机器互相信任关系
一、ssh命令:(1)查看命令帮助:(2)[user@]hostname [command]如果不添加user@的话,表示ssh远程连接hostname所在的机器是以当前ssh这个命令所在的当前用户来连接(3)指定端口号:ssh root@ip -p xxx(4)打印一个日期:ssh root@ip date[root@hadoop001 ~]# ssh root@47.75.24...原创 2018-10-05 16:16:47 · 1368 阅读 · 0 评论 -
hadoop之hdfs详解之一
HDFS 是单台或集群伪分布式部署NameNode 简称NNSecondaryNameNode简称SNNDataNode简称DNNN、DN、SNN部署在同一台机器上hdfs启动的命令脚本:sbin/start-dfs.sh:即将linux文件上传到hdfs存储里面,相当于windows上传文件到安装在电脑上的百度云盘上命令位置:bin/hdfs dfs -ls /1、bl...原创 2018-10-05 16:43:49 · 499 阅读 · 0 评论 -
hadoop之hdfs详解之二:写流程
客户端通过rpc与NN通信写文件命令:bin/hdfs dfs - put xxx.log /usr/hadoop/data/1、Client调用(Distributed FileSystem)filesystem.creat(path),与NN进行rpc通信,NN check Path是否已经存在及有没有权限创建;-假如ok,就创建一个新文件,但是不关联任何的block,返回一个FS...原创 2018-10-05 16:55:57 · 182 阅读 · 0 评论 -
大数据Linux命令之管道符、grep命令与设置密码
**一、管道符 |**—命令1的结果作为端口输给命令2 → 命令1 | 命令2管道命令操作符是:"|",它仅能处理经由前面一个指令传出的正确输出信息,也就是 standard output 的信息;对于 stdandard error 信息没有直接处理能力。然后,传递给下一个命令,作为标准的输入 standard input.参考链接二、grep 命令1、grep命令表...原创 2018-09-23 01:27:22 · 2039 阅读 · 0 评论 -
大数据之hdfs详解之三:put权限剖析与常用命令
–无论是对于hdfs的读和写,对于用户来说都是无感知的、透明的操作,用户并不关心数据如何读出来如何写进去的,只要返回一个结果告诉用户数据读出来了或写进去了,至于怎么读怎么写,用户并不关心补充:读:hdfs dfs -ls / = hdfs dfs -ls hdfs://hadoop001:9000/hdfs dfs -ls / /是hdfs文件系统的根目录 而不是Linux...原创 2018-10-13 14:00:35 · 13115 阅读 · 2 评论 -
大数据之hdfs详解之四:pid文件剖析
pid 默认存储在/tmp目录下,pid里面的内容就是进程号pid文件删除,不影响服务正常运行和用户的读写,但是:Stop:关闭不掉start:重新起另一个进程例如将namenode的pid 文件删除掉:[hadoop@hadoop001 tmp]$ rm -f hadoop-hadoop-namenode.pidjps查看进程,namenode还存在的,因为jps命令是读取hspe...原创 2018-10-13 14:05:56 · 373 阅读 · 0 评论 -
大数据之hdfs详解之五:垃圾回收站剖析
首先需要明白一点,现在linux系统好像没有回收站的说法了,所以在删除别人的文件或文件夹之前一定要慎重,毕竟rm命令是高危命令,删除了就没有了,所以对于高危命令,我们要保持敬畏之心.hdfs在部署的时候默认垃圾回收站是禁用的,因此hdfs是可以开启垃圾回收站的。先看看官网对回收站的解释:第一个参数:fs.trash.interval=0 表示禁用Number of minutes aft...原创 2018-10-13 14:27:50 · 675 阅读 · 0 评论 -
大数据之hdfs详解之六:读流程
–之前也说过读写操作对于用户来说是透明的、无感知的,用户并不关心文件是如何写进去和读出来的,例如hdfs dfs -ls 、hdfs dfs -cat、hdfs dfs -du等命令都是读流程,可以说除了上传等的命令,大部分常用的hdfs命令是读流程的。首先来看下方的一张图,经典读流程图:下面的3个DataNode可以看作是3台不同的机器运行的进程,HDFS Client和NameN...原创 2018-10-15 23:48:58 · 202 阅读 · 0 评论 -
大数据之Yarn详解
1、Yarn的架构设计:这个过程一共是有8个步骤:1、用户向Yarn中的ResourceManager提交应用程序,其中包括ApplicationMaster程序,启动ApplicationMaster命令、用户命令等。2、ResourceManager首先为该Application程序分配第一个Container容器,并与对应的Node Manager通信,要求Node Manag...原创 2018-10-28 15:46:29 · 2255 阅读 · 0 评论 -
大数据之MapReduce了解及MapReduce Job提交到Yarn的工作流程
MapReduce主要用途是进行分布式计算一、MapReduce理解宏观上的理解:MapReduce仅仅是作为客户端(Client)把代码程序提交到Yarn平台上,MapReduce jar在Yarn上运行,属于客户端提交的过程,hdfs上传的命令。MapReduce指的是Map()和Reduce()函数,正常写的代码是需要继承它的,但是企业上进行生产一般是不会用它,但是它也至关重要,因为...原创 2018-10-21 14:01:55 · 757 阅读 · 0 评论 -
hadoop 之 mapreduce job 案例练习
mapreduce job 案例官网要求:1、Make the HDFS directories required to execute MapReduce jobs:$ bin/hdfs dfs -mkdir /user$ bin/hdfs dfs -mkdir /user/< username>2、Copy the input files into the distri...原创 2018-10-05 15:25:13 · 488 阅读 · 0 评论 -
hadoop之yarn部署
yarn伪分布式部署:YARN on Single NodeYou can run a MapReduce job on YARN in a pseudo-distributed mode by setting a few parameters and running ResourceManager daemon and NodeManager daemon in addition.The...原创 2018-10-05 14:50:02 · 1966 阅读 · 0 评论 -
大数据Linux命令之yum网络安装和查看端口号
一、yum网络安装yum 主要用于自动安装、升级 rpm 软件包,它能自动查找并解决 rpm 包之间的依赖关系。要使用yum工具安装更新软件或系统,就需要有一个包含各种 rpm 软件包的 repository(件仓库),这个软件仓库我们习惯称为 yum 源。网络搜索:yum search xxx (xxx是服务网络名称)需输入y安装:yum install xxx (如:yu...原创 2018-09-23 22:06:24 · 3656 阅读 · 0 评论 -
大数据Linux命令之移除rpm包和临时获取root权限
一、移除rpm包查询搜索rpm包:rpm -qa | grep xxx (目标服务程序名称)卸载:rpm -e xxx(xxx是安装包名称)rpm -e --nodeps xxx (xxx是安装包名称)yum remove xxx (xxx是安装包名称)二、临时获取root权限获取权限:sudo xxx命令生效:管理员用户修改/etc/sudoers文件[root@had...原创 2018-09-23 22:27:49 · 530 阅读 · 0 评论 -
大数据Linux命令之查看ip地址和设置服务开机自启动
一、windows查看:ipconfigcmd命令直接输入ipconfig二、linux查看有3中查看方式:(1)ifconfig命令[root@hadoop001 ~]# ls /etc/sysconfig/network-scripts/eth0表示网卡名称ip地址:inet addr:172.31.95.246(2)ping xxx (xxx表示当前机器名称)(3)h...原创 2018-09-24 14:30:33 · 1169 阅读 · 0 评论 -
大数据Linux命令之如何判断Linux服务是否存活
一、查看进程是否运行: ps -ef | grep httpd二、查看端口号: netstat -nlp|grep xxx (xxx是pid)第一步:ping xxx服务所在的机器的ip: 网络环境能够ping通的,服务正常,不能ping通,需要排查。Windows:Linux:第二步:查看xxx服务的端口号和服务地址(监听地址)第三步 telnet xxxxxx yy (x...原创 2018-09-24 14:50:05 · 1359 阅读 · 0 评论 -
大数据Linux命令之文件查看大小、系统情况命令、压缩与解压
一、实时查看文件内容Linux 中有一个tail命令,常用来显示一个文件的最后n行文档内容但更多情况下,我们要在服务器端运行程序,并且需要实时监控运行日志,这时候有什么办法实时滚动显示log文件内容?这里可以利用tail命令加参数f实现:tail用于显示指定文件末尾内容,不指定文件时,作为输入信息进行处理。常用查看日志文件。tail -f xxx.log (会把文件里最尾部的内容显示在屏...原创 2018-09-24 15:51:16 · 2765 阅读 · 0 评论 -
大数据Linux命令之命令安装、文件编辑、软件上传与下载
一、如何找命令当我们输入一个系统中没有安装到的命令时,会抛出提示:command not foundLinux 下,我们常使用 cd ,grep,vi 等命令,有时候我们要查到这些命令所在的位置,如何做呢?linux下有2个命令可完成该功能:which ,whereiswhich 用来查看当前要执行的命令所在的路径。whereis 用来查看一个命令或者文件所在的路径,which命令的...原创 2018-09-24 16:21:13 · 361 阅读 · 0 评论 -
大数据之MySQL部署及常规使用
啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊原创 2018-09-24 18:01:06 · 1038 阅读 · 0 评论 -
MySQL基础语法一
补充:在生产当中可能要遇到MySQL需要重新部署的情况,这时需要在重新部署之前删掉2个文件:rm -rf $MYSQL_HOME/arch/* (这个文件是binlog日志,可用于恢复数据 ,也可创建主从同步)rm -rf $MYSQL_HOME/data/* (这个文件是存放数据的,需要格式化)------------------------------------------...原创 2018-10-04 23:24:29 · 275 阅读 · 0 评论 -
MySQL基础语法之二
练习:使用部门表、工资等级表和员工表熟悉语法–部门表dept部门表(deptno部门编号/dname部门名称/loc地点)create table dept (deptno numeric(2),dname varchar(14),loc varchar(13));insert into dept values (10, ‘ACCOUNTING’, ‘NEW YORK’);ins...原创 2018-10-05 01:16:46 · 300 阅读 · 0 评论 -
大数据Linux命令之用户,用户组及查看命令帮助
一、查看用户常用命ll /usr/sbin/user*二、查看用户组常用命令ll /usr/sbin/group*三、如何添加删除用户增添新用户: useradd xxx(xxx是用户名称)[root@hadoop001 ~]# useradd dudu(添加)[root@hadoop001 ~]# id duduuid=515(dudu) gid=515(dudu) grou...原创 2018-09-22 13:21:03 · 1928 阅读 · 0 评论 -
MySQL基础语法之三:join语法
join语法:表与表关联join 用于多表中字段之间的联系JOIN 按照功能大致分为如下三类:INNER JOIN(内连接,或等值连接):取得两个表中存在连接匹配关系的记录。LEFT JOIN(左连接):取得左表(table1)完全记录,即是右表(table2)并无对应匹配记录。RIGHT JOIN(右连接):与 LEFT JOIN 相反,取得右表(table2)完全记录,即是左表(t...原创 2018-10-05 11:52:29 · 3162 阅读 · 0 评论 -
hadoop概况与hdfs部署
一、hadoop概况广义的Hadoop是指以hadoop软件为主的生态圈狭义d的hadoop是指hadoop软件大数据软件官网:hadoop: hadoop.apache.orghive: hive.apache.orgspark: spark.apache.orgflink: flink.apache.orghadoop软件版本:1.x2.x 生产上多用2.x版本3.x 在...原创 2018-10-05 14:10:26 · 609 阅读 · 0 评论 -
#转载#YARN的Memory和CPU调优配置详解
资源调优:http://blog.itpub.net/30089851/viewspace-2127851/转载 2018-10-24 16:13:21 · 287 阅读 · 0 评论