Bigdata learning
文章平均质量分 71
仙人掌仙人
这个作者很懒,什么都没留下…
展开
-
大数据环境部署
前言2018-09-05我终于鼓起勇气奋不顾身投入大数据门槛,total零基础,total零经验,第一天上课,稍微有些激动,现在回想当初意识到自己(❤ ω ❤)喜欢大数据的时候,就应该抓紧时机学习和沉淀,现在毕业后做着一份力不从心的工作,拿着微薄的工资,实在对不起生活啊!我怎么可以选择安逸???有追求就要去追啊哈哈哈哈哈……头破血流又怎样?粉身碎骨又如何?那是我的梦啊!!人生苦短,我选...原创 2018-09-09 13:46:34 · 1050 阅读 · 0 评论 -
hadoop 之 mapreduce job 案例练习
mapreduce job 案例官网要求:1、Make the HDFS directories required to execute MapReduce jobs:$ bin/hdfs dfs -mkdir /user$ bin/hdfs dfs -mkdir /user/< username>2、Copy the input files into the distri...原创 2018-10-05 15:25:13 · 501 阅读 · 0 评论 -
hadoop之hdfs的3个节点以同一进程启动
HDFS三个进程启动都以xxxxxxxx启动:以我自己的机器名称为例:HDFS三个进程启动以hadoop001启动:etc/hadoop目录下设置之前在部署hdfs时候修改了core-site.xml文件slaves文件(1)在core-site.xml文件中修改fs.defaultFS参数为hadoop001,使NameNode进程以hadoop001启动。(2)在slaves文...原创 2018-10-05 15:47:15 · 607 阅读 · 0 评论 -
hadoop之hdfs命令剖析
(1)查看hdfs主从架构进程[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ jps13490 DataNode14800 ResourceManager13366 NameNode25008 Jps13651 SecondaryNameNode(2)jps命令的位置:来自java[hadoop@hadoop001 hadoop-2.6.0...原创 2018-10-05 15:57:28 · 250 阅读 · 0 评论 -
hadoop之ssh命令、scp命令与建立多台机器互相信任关系
一、ssh命令:(1)查看命令帮助:(2)[user@]hostname [command]如果不添加user@的话,表示ssh远程连接hostname所在的机器是以当前ssh这个命令所在的当前用户来连接(3)指定端口号:ssh root@ip -p xxx(4)打印一个日期:ssh root@ip date[root@hadoop001 ~]# ssh root@47.75.24...原创 2018-10-05 16:16:47 · 1390 阅读 · 0 评论 -
hadoop之hdfs详解之一
HDFS 是单台或集群伪分布式部署NameNode 简称NNSecondaryNameNode简称SNNDataNode简称DNNN、DN、SNN部署在同一台机器上hdfs启动的命令脚本:sbin/start-dfs.sh:即将linux文件上传到hdfs存储里面,相当于windows上传文件到安装在电脑上的百度云盘上命令位置:bin/hdfs dfs -ls /1、bl...原创 2018-10-05 16:43:49 · 512 阅读 · 0 评论 -
hadoop之hdfs详解之二:写流程
客户端通过rpc与NN通信写文件命令:bin/hdfs dfs - put xxx.log /usr/hadoop/data/1、Client调用(Distributed FileSystem)filesystem.creat(path),与NN进行rpc通信,NN check Path是否已经存在及有没有权限创建;-假如ok,就创建一个新文件,但是不关联任何的block,返回一个FS...原创 2018-10-05 16:55:57 · 183 阅读 · 0 评论 -
大数据Linux命令之管道符、grep命令与设置密码
**一、管道符 |**—命令1的结果作为端口输给命令2 → 命令1 | 命令2管道命令操作符是:"|",它仅能处理经由前面一个指令传出的正确输出信息,也就是 standard output 的信息;对于 stdandard error 信息没有直接处理能力。然后,传递给下一个命令,作为标准的输入 standard input.参考链接二、grep 命令1、grep命令表...原创 2018-09-23 01:27:22 · 2057 阅读 · 0 评论 -
大数据之hdfs详解之三:put权限剖析与常用命令
–无论是对于hdfs的读和写,对于用户来说都是无感知的、透明的操作,用户并不关心数据如何读出来如何写进去的,只要返回一个结果告诉用户数据读出来了或写进去了,至于怎么读怎么写,用户并不关心补充:读:hdfs dfs -ls / = hdfs dfs -ls hdfs://hadoop001:9000/hdfs dfs -ls / /是hdfs文件系统的根目录 而不是Linux...原创 2018-10-13 14:00:35 · 13196 阅读 · 2 评论 -
大数据之hdfs详解之四:pid文件剖析
pid 默认存储在/tmp目录下,pid里面的内容就是进程号pid文件删除,不影响服务正常运行和用户的读写,但是:Stop:关闭不掉start:重新起另一个进程例如将namenode的pid 文件删除掉:[hadoop@hadoop001 tmp]$ rm -f hadoop-hadoop-namenode.pidjps查看进程,namenode还存在的,因为jps命令是读取hspe...原创 2018-10-13 14:05:56 · 391 阅读 · 0 评论 -
大数据之hdfs详解之五:垃圾回收站剖析
首先需要明白一点,现在linux系统好像没有回收站的说法了,所以在删除别人的文件或文件夹之前一定要慎重,毕竟rm命令是高危命令,删除了就没有了,所以对于高危命令,我们要保持敬畏之心.hdfs在部署的时候默认垃圾回收站是禁用的,因此hdfs是可以开启垃圾回收站的。先看看官网对回收站的解释:第一个参数:fs.trash.interval=0 表示禁用Number of minutes aft...原创 2018-10-13 14:27:50 · 681 阅读 · 0 评论 -
大数据之hdfs详解之六:读流程
–之前也说过读写操作对于用户来说是透明的、无感知的,用户并不关心文件是如何写进去和读出来的,例如hdfs dfs -ls 、hdfs dfs -cat、hdfs dfs -du等命令都是读流程,可以说除了上传等的命令,大部分常用的hdfs命令是读流程的。首先来看下方的一张图,经典读流程图:下面的3个DataNode可以看作是3台不同的机器运行的进程,HDFS Client和NameN...原创 2018-10-15 23:48:58 · 205 阅读 · 0 评论 -
大数据之Yarn详解
1、Yarn的架构设计:这个过程一共是有8个步骤:1、用户向Yarn中的ResourceManager提交应用程序,其中包括ApplicationMaster程序,启动ApplicationMaster命令、用户命令等。2、ResourceManager首先为该Application程序分配第一个Container容器,并与对应的Node Manager通信,要求Node Manag...原创 2018-10-28 15:46:29 · 2278 阅读 · 0 评论 -
大数据之MapReduce了解及MapReduce Job提交到Yarn的工作流程
MapReduce主要用途是进行分布式计算一、MapReduce理解宏观上的理解:MapReduce仅仅是作为客户端(Client)把代码程序提交到Yarn平台上,MapReduce jar在Yarn上运行,属于客户端提交的过程,hdfs上传的命令。MapReduce指的是Map()和Reduce()函数,正常写的代码是需要继承它的,但是企业上进行生产一般是不会用它,但是它也至关重要,因为...原创 2018-10-21 14:01:55 · 762 阅读 · 0 评论 -
hadoop之yarn部署
yarn伪分布式部署:YARN on Single NodeYou can run a MapReduce job on YARN in a pseudo-distributed mode by setting a few parameters and running ResourceManager daemon and NodeManager daemon in addition.The...原创 2018-10-05 14:50:02 · 1979 阅读 · 0 评论 -
hadoop概况与hdfs部署
一、hadoop概况广义的Hadoop是指以hadoop软件为主的生态圈狭义d的hadoop是指hadoop软件大数据软件官网:hadoop: hadoop.apache.orghive: hive.apache.orgspark: spark.apache.orgflink: flink.apache.orghadoop软件版本:1.x2.x 生产上多用2.x版本3.x 在...原创 2018-10-05 14:10:26 · 616 阅读 · 0 评论 -
大数据之Linux命令之一
环境部署好之后,就来认识一下几个企业上常用的命令啦啦啦啦啦啦啦!!!1、pwd命令==查看当前你的命令(光标)所在的path,如: 我当前的命令是在/root这个路径下面。是不是很简单啊哈哈哈哈哈哈哈~(恐怕是个傻子吧)2、家目录==用户所在的默认的目录(即用户目录)(比如创建一个用户,用户要登录或者要做其他东西时配给这个用户一个默认的目录作为初始值,存放个人数据。除...原创 2018-09-09 16:14:54 · 487 阅读 · 0 评论 -
大数据Linux命令之权限与修改权限
一、权限权限是操作系统用来限制资源访问的机制,权限一般分为读、写、执行。系统中每个文件都拥有特定的权限、所属用户及所属组,通过这样的机制来限制哪些用户、哪些组可以对特定的文件进行什么样的操作。每个进程都是以某个用户的身份运行,所以进程的权限与该用户的权限一样,用户的权限越大,该进程所拥有的权限也就越大。权限分为用户、用户、其他组,linux中文件与目录是由r读、w写、x执行来构建整个...原创 2018-09-23 21:36:43 · 465 阅读 · 0 评论 -
大数据Linux命令之yum网络安装和查看端口号
一、yum网络安装yum 主要用于自动安装、升级 rpm 软件包,它能自动查找并解决 rpm 包之间的依赖关系。要使用yum工具安装更新软件或系统,就需要有一个包含各种 rpm 软件包的 repository(件仓库),这个软件仓库我们习惯称为 yum 源。网络搜索:yum search xxx (xxx是服务网络名称)需输入y安装:yum install xxx (如:yu...原创 2018-09-23 22:06:24 · 3676 阅读 · 0 评论 -
大数据Linux命令之移除rpm包和临时获取root权限
一、移除rpm包查询搜索rpm包:rpm -qa | grep xxx (目标服务程序名称)卸载:rpm -e xxx(xxx是安装包名称)rpm -e --nodeps xxx (xxx是安装包名称)yum remove xxx (xxx是安装包名称)二、临时获取root权限获取权限:sudo xxx命令生效:管理员用户修改/etc/sudoers文件[root@had...原创 2018-09-23 22:27:49 · 535 阅读 · 0 评论 -
大数据Linux命令之查看ip地址和设置服务开机自启动
一、windows查看:ipconfigcmd命令直接输入ipconfig二、linux查看有3中查看方式:(1)ifconfig命令[root@hadoop001 ~]# ls /etc/sysconfig/network-scripts/eth0表示网卡名称ip地址:inet addr:172.31.95.246(2)ping xxx (xxx表示当前机器名称)(3)h...原创 2018-09-24 14:30:33 · 1175 阅读 · 0 评论 -
大数据Linux命令之如何判断Linux服务是否存活
一、查看进程是否运行: ps -ef | grep httpd二、查看端口号: netstat -nlp|grep xxx (xxx是pid)第一步:ping xxx服务所在的机器的ip: 网络环境能够ping通的,服务正常,不能ping通,需要排查。Windows:Linux:第二步:查看xxx服务的端口号和服务地址(监听地址)第三步 telnet xxxxxx yy (x...原创 2018-09-24 14:50:05 · 1366 阅读 · 0 评论 -
大数据Linux命令之文件查看大小、系统情况命令、压缩与解压
一、实时查看文件内容Linux 中有一个tail命令,常用来显示一个文件的最后n行文档内容但更多情况下,我们要在服务器端运行程序,并且需要实时监控运行日志,这时候有什么办法实时滚动显示log文件内容?这里可以利用tail命令加参数f实现:tail用于显示指定文件末尾内容,不指定文件时,作为输入信息进行处理。常用查看日志文件。tail -f xxx.log (会把文件里最尾部的内容显示在屏...原创 2018-09-24 15:51:16 · 2779 阅读 · 0 评论 -
大数据Linux命令之命令安装、文件编辑、软件上传与下载
一、如何找命令当我们输入一个系统中没有安装到的命令时,会抛出提示:command not foundLinux 下,我们常使用 cd ,grep,vi 等命令,有时候我们要查到这些命令所在的位置,如何做呢?linux下有2个命令可完成该功能:which ,whereiswhich 用来查看当前要执行的命令所在的路径。whereis 用来查看一个命令或者文件所在的路径,which命令的...原创 2018-09-24 16:21:13 · 363 阅读 · 0 评论 -
大数据之MySQL部署及常规使用
啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊原创 2018-09-24 18:01:06 · 1055 阅读 · 0 评论 -
MySQL基础语法一
补充:在生产当中可能要遇到MySQL需要重新部署的情况,这时需要在重新部署之前删掉2个文件:rm -rf $MYSQL_HOME/arch/* (这个文件是binlog日志,可用于恢复数据 ,也可创建主从同步)rm -rf $MYSQL_HOME/data/* (这个文件是存放数据的,需要格式化)------------------------------------------...原创 2018-10-04 23:24:29 · 280 阅读 · 0 评论 -
MySQL基础语法之二
练习:使用部门表、工资等级表和员工表熟悉语法–部门表dept部门表(deptno部门编号/dname部门名称/loc地点)create table dept (deptno numeric(2),dname varchar(14),loc varchar(13));insert into dept values (10, ‘ACCOUNTING’, ‘NEW YORK’);ins...原创 2018-10-05 01:16:46 · 302 阅读 · 0 评论 -
大数据Linux命令之用户,用户组及查看命令帮助
一、查看用户常用命ll /usr/sbin/user*二、查看用户组常用命令ll /usr/sbin/group*三、如何添加删除用户增添新用户: useradd xxx(xxx是用户名称)[root@hadoop001 ~]# useradd dudu(添加)[root@hadoop001 ~]# id duduuid=515(dudu) gid=515(dudu) grou...原创 2018-09-22 13:21:03 · 1945 阅读 · 0 评论 -
MySQL基础语法之三:join语法
join语法:表与表关联join 用于多表中字段之间的联系JOIN 按照功能大致分为如下三类:INNER JOIN(内连接,或等值连接):取得两个表中存在连接匹配关系的记录。LEFT JOIN(左连接):取得左表(table1)完全记录,即是右表(table2)并无对应匹配记录。RIGHT JOIN(右连接):与 LEFT JOIN 相反,取得右表(table2)完全记录,即是左表(t...原创 2018-10-05 11:52:29 · 3180 阅读 · 0 评论 -
#转载#YARN的Memory和CPU调优配置详解
资源调优:http://blog.itpub.net/30089851/viewspace-2127851/转载 2018-10-24 16:13:21 · 301 阅读 · 0 评论