大数据
文章平均质量分 77
小顽固哥
这个作者很懒,什么都没留下…
展开
-
hadoop04
hadoop-------------- 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度.集群部署----------- 1.standard alone/local //本地模式 nothing....原创 2019-01-25 15:27:59 · 276 阅读 · 0 评论 -
Linux——systemd-journald.service简介
过去只有 rsyslogd 的年代中,由于 rsyslogd 必须要开机完成并且执行了 rsyslogd 这个 daemon 之后,登录文件才会开始记录。所以,核心还得要自己产生一个 klogd 的服务, 才能将系统在开机过程、启动服务的过程中的信息记录下来,然后等 rsyslogd 启动后才传送给它来处理~现在有了 systemd 之后,由于这玩意儿是核心唤醒的,然后又是第一支执行的软件,它可以...原创 2018-10-23 16:21:11 · 6520 阅读 · 1 评论 -
Linux——登录档的轮替
rsyslogd利用的额是daemoon的方式来启动的,当有需求的时候就立即执行,但是logrotate会在规定时间到后才来进行登录档的轮替,所以logrotate程序是挂载在cron下进行的。/etc/cron.daily/logrotate用来记录每天进行的登录档轮替行为。1、logratate的配置文件logratate的参数配置文件:/etc/logrotate.conf (主...原创 2018-10-23 16:07:18 · 171 阅读 · 0 评论 -
Linux——daemon与服务service
service表示常驻在记体体中的程序,且可以提供一些系统和网络服务的功能就是服务。service的提供总是需要程序的运作,达成service的程序我们就称呼他为daemon11、早期的System V的init管理行为中daemon的主要分类(optional)在纯unix版本的年代,启动系统服务的管理方式称为sysv的init脚本程序的处理方式,即系统核心第一只呼叫的程序是init,然...原创 2018-10-21 19:48:22 · 582 阅读 · 0 评论 -
Linux——SELinux初探
1、什么是SELinuxsecurity Enhanced Linux,SELinux,字面意思是安全强化的linux<1>当初设计的目标:避免资源的误用SELinux是由美国安全局(NSA)开发的,目的在与因为很多企业界发现,通常系统出现问题的原因大部分在于内部员工的资源误用所导致的,实际由外部发动的攻击反而没有那么严重。SELinux是在进程、文件等细部权限设定依据的一...原创 2018-10-21 18:45:26 · 1239 阅读 · 1 评论 -
Linux——特殊文件与进程
1、具有SUID/SGID权限的指令执行状态SUID的特点:· SUID 权限仅对二进制程序(binary program)有效;· 执行者对于该程序需要具有 x 的可执行权限;· 本权限仅在执行该程序的过程中有效 (run-time);· 执行者将具有该程序拥有者 (owner) 的权限。整个SUID的权限生效是由于具有该权限的程序会被触发。查询整个系统的SUID/SGID的文...原创 2018-10-21 16:00:53 · 186 阅读 · 0 评论 -
Linux——进程管理
1、进程的观察<1>ps:将某个时间点的进程运作情况 截取下来[root@study ~]# ps aux <==观察系统所有的进程数据,注意前面没有-号。[root@study ~]# ps -lA <==也是能够观察所有系统的数据[root@study ~]# ps axjf <==连同部分进程树状态选项与参数:-A :所有的 process 均显...原创 2018-10-21 15:26:29 · 185 阅读 · 0 评论 -
Linux——软件管理员简介
1、RPM与DPKGDPKG机制最早是由Debian Linux社群开发出来的,透过dpkg机制,Debian提供的软件就能够简单的安装,同时还能提供安装后的软件信息,,只要是衍生于Debian的其他Linux distributions大多数使用dpkg机制来管理软件,包括B2D、Ubuntu等RPM机制最早是由RED Hat开发的。fedora、centos、suse等都只用的是该机制...原创 2018-10-25 20:48:47 · 212 阅读 · 0 评论 -
Linux——检验软件的正确性
1、md5sum/sha1sum/sha256sum目前有多种机制可以计算文件的指纹码,我们选择使用较为广泛的MD5,SHA1或SHA256加密机制来处理,例如上面连结中CentOS7.x的相关指纹确认。不过ISO文件实在太大了,下载来确认实在很浪费带宽。所以我们拿前一个小节谈到的NTP软件来检查看看好了。记得我们下载的NTP软件版本为4.2....原创 2018-10-25 19:45:32 · 181 阅读 · 0 评论 -
Linux——函式库管理
在Linux操作系统中,函式库是一个很重要的项目,很多软件之间都会互相取用彼此提供的函式库来进行特殊功能的运作1、动态与静态函式库<1>静态函式库的特色·扩展名:(扩展名为.a)这类的函式库通常扩展名为libxxx.a的类型;·编译行为:这类函式库在编译的时候会直接整合到执行程序当中,所以利用静态函式库编译成的文件会比较大一些喔;·独立执行的状态...原创 2018-10-25 19:06:07 · 231 阅读 · 0 评论 -
Linux——Tarball的管理与建议
Tarball的安装时可以跨平台的,C语言的程序代码在各个平台上是互通的。1、使用原始码管理软件所需要的基础软件(1)gcc或cc等C语言编译程序(conplier)(2)make与autoconfig等软件(3)需要kernel提供的libary以及相关的include文件·如果是要安装gcc等软件开发工具,请使用『yumgroupinstall"Develo...原创 2018-10-25 18:37:19 · 239 阅读 · 0 评论 -
Linux——宏编译
假设我的执行档中有四个源码文件分别是main.c haha.c sin_value.c cos_value.c,这四个文件的目的是:· main.c :主要的目的是让用户输入角度数据与呼叫其他三支子程序;· haha.c :输出一堆有的没有的讯息而已;· sin_value.c :计算使用者输入的角度(360) sin 数值;· cos_value.c :计算使用者输入的角度(36...原创 2018-10-25 16:34:37 · 748 阅读 · 2 评论 -
Linux——使用传统程序语言进行编译的简单范例
1、hello world[root@study ~]# vim hello.c#include<stdio.h>int main(void){ printf("hello world\n");}[root@study ~]# gcc hello.c[root@study ~]# ll hello.c a.out-rwxrwxr-x. 1 hadoop1 h...原创 2018-10-25 16:00:52 · 226 阅读 · 0 评论 -
inux——工作管理(job control)
1、工作管理工作管理:登入系统取得bash shell之后,在单一终端机接口下同时进行多个工作的行为管理进行工作管理的行为中,每个工作都是目前bash的子进程,彼此之间存在一定的相关性,我们无法以工作管理的方式以tty1的环境去管理tty2的bash。假设我们只有一个终端接口。因此在可以出现提示字符让你操作的环境就称为前景(foreground),至于其他的工作就可以让你放入背景(ba...原创 2018-10-20 17:52:35 · 203 阅读 · 0 评论 -
linux——进程(process)
在linux系统中,触发任何一个事件时,系统都会将它定义为一个进程,并且给予该进程一个ID称为PID,同时依据启发该进程的用户与相关属性关系,给予这个PID一组有效的权限设定。1、进程与程序执行一个程序或指令就产生一个进程,获得一个PID,程序一般是存放在实体磁盘中,透过用户的执行来触发,触发后会加载到内存中成为一个个体,这就是进程,程序被触发后,执行者的权限与属性、程序的程序代码与所需数...原创 2018-10-20 15:04:47 · 1211 阅读 · 0 评论 -
Linux——syslog.service:记录登录文件的服务
Linux的登录当主要是由rsyslog.service负责,观察Linux是否启动rsyslog是否有设置开机启动。。命令:$ ps aux | grep rsyslog #查看是否启动命令:$ systemctl status rsyslog.service #查看预设开机是否自启动1、rsyslog.service的配置文件:/etc/s/rsyslog....原创 2018-10-22 21:02:36 · 2832 阅读 · 0 评论 -
Linux——登录档
详细而确实的分析以及备份系统登录文件是一个系统管理员应该进行的任务之一,登录档简单的说就是记录系统活动信息的文件,记录系统在什么时候由哪个程序做了什么行为,发生了何种事情。1、centos7登录档的简易说明<1>登录档的重要性o解决系统方面的错误:用Linux这么久了,你应该偶而会发现系统可能会出现一些错误,包括硬件捉不到或者是某些系统服务无法顺利运作的情况。...原创 2018-10-22 14:21:23 · 215 阅读 · 0 评论 -
Linux——分析登录档
对于分析登录档,我们可以以vim或者是journalctl进入登录文件去查阅相关信息,同样一些系统软件也可以从登录文件中取得资料,例如last、lastlog、dmesg等。centos提供logwatch登录文件分析程序1、centos预设的logwatchcentos上面预设的logwatch套件,每天会进行一次分析登录文件,并且将数据以email的格式寄送到root,可以在logwa...原创 2018-10-23 17:47:52 · 131 阅读 · 0 评论 -
Linux——Linux的开机流程分析
Linux目前主流的开机管理程序为grub2,早期的Linux预设使用grub1或LILO。当按下开机键后,系统会主动读取第一个开机的装置(有BIOS设定),此时就进入开机管理程序。开机管理程序可以指定使用哪个核心来开机,并实际加载核心到内存当中解压执行,此时核心就在内存当中活动,并且侦测所有硬件信息与加载适当的驱动程序来使整部主机开始运作,等到核心侦测硬件与加载驱动程序完毕后完成开机。主机系统开...原创 2018-10-23 20:04:30 · 1912 阅读 · 0 评论 -
hadoop02
hadoop---------------------------------------------------- 1.独立模式(standalone|local) nothing! 本地文件系统。 不需要启用单独进程。 主要在测试与调试的时候使用 2.pesudo(伪分布模式) 等同于完全分布式,...原创 2019-01-12 00:12:42 · 283 阅读 · 0 评论 -
hadoop03
ssh权限问题---------------- 1.~/.ssh/authorized_keys 权限:644 2.$/.ssh 权限:700 3.root配置SSH------------- 生成密钥对$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 添加认证文件$>cat ~/.ssh/...原创 2019-01-17 13:20:48 · 329 阅读 · 0 评论 -
Hadoop01
1、大数据概论大数据解决的问题:存储(分布式)与计算(分布式)云计算解决的问题:服务(定制化)。是一种虚拟化技术;关系:大数据技术可以在云上进行完成,云计算的一个功能是实现大数据计算。分布式:由分布在不同主机上的进程协同在一起,才能构成整个应用(web程序就是一个典型的分布式)B/S:Browser/ http server : 瘦客户端存储单位:1bit = 1位(0/...原创 2018-11-26 15:24:21 · 255 阅读 · 0 评论 -
Linux——备份的种类、频率与工具的选择
1、累积备份所谓的累积备份是指系统在进行完一次完整的备份后,经过一段时间的运作,比较系统与备份文件之间的差异,今备份有差异的文件。备份常用工具:dd、cpio、xfsdump/xfsrestore。dd可以直接读取磁盘的扇区(sector)而不理会文件系统,是相当良好的备份工具!不过缺点就是慢很多!cpio是能够备份所有档名,不过,得要配合find或其他找文件名的指令才能够处...原创 2018-10-24 21:01:50 · 207 阅读 · 0 评论 -
Linux——备份要点
1、备份资料的考虑·备份哪些文件:哪些数据对系统或用户来说是重要的?那些数据就是值得备份的数据!例如/etc/*及/home/*等。·选择什么备份的媒介:是可擦写光盘、另一颗硬盘、同一颗硬盘的不同partition、还是使用网络备援系统?哪一种的速度最快最 便宜,可将数据保存最久?这都可以考虑...原创 2018-10-24 20:50:08 · 197 阅读 · 0 评论 -
Linux——服务器硬件数据的收集
呼叫核心侦测的硬件常见指令如下:·gdisk:可以使用gdisk-l将分区表列出;·dmesg:观察核心运作过程当中所显示的各项讯息记录;·vmstat:可分析系统(CPU/RAM/IO)目前的状态;·lspci:列出整个PC系统的PCI接口装置!很有用的指令;·lsusb:列出目前系统上面各个USB端口口的状态,与连接的USB装置;·ios...原创 2018-10-24 18:26:06 · 258 阅读 · 0 评论 -
Linux——系统基本设定
1、网络设定(手动设定与DHCCP自动取得)此文的网络指一部单机的linux系统而非服务器。常见网络参数取得方式(1)手动设定固定 IP常见于学术网络的服务器设定、公司行号内的特定座位等。这种方式你必须要取得底下的几个参数才能够让你的 Linux 上网的:§ IP§ 子网掩码(netmask)§ 通讯闸(gateway)§ DNS 主机的 IP(2) 网络参数可自动取得 (...原创 2018-10-24 17:53:37 · 1398 阅读 · 0 评论 -
Linux——开机过程的问题
1、忘记root密码新版的systemd的管理机制中,默认rescue模式是无法直接取得root权限,需要使用root密码才能够登入rescure环境。但是我们可以透过一个名为rd.read的核心参数来处理即可取得root权限。rd.read是在Ram Disk里面的操作系统状态,因此不能直接取得原本的Linux系统操作环境,所以还需要chroot的支持,更是由于SELinux的关系,还得要家...原创 2018-10-24 16:57:58 · 731 阅读 · 0 评论 -
Linux——boot lodaer:grub2核心载入工具
1、boot loader的两个stage在BIOS读取完信息后,接下里就是到第一个开机装置的MBR去读取boot lodaer。Linux将boot loader将程序代码执行与设定值加载分成两个阶段来执行(stage)(1)stage1:执行boot loader主程序第一阶段为执行boot loader的主程序,这个过程必须安装在开机区,即使MBR或者是bootsector...原创 2018-10-24 14:45:43 · 934 阅读 · 0 评论 -
Linux——配置文件解析与设定
X server的配置文件预设放置在/etc/X11下,相关的显示模块或总模块主要放置在/usr/lib64/xorg/modules,提供屏幕大的字体/usr/share/X11/fonts/,显示适配器的芯片组/usr/lib64/xorg/modules/drivers/。标准配置规范文件/etc/X11/xorg.conf1、解析X server的设定查看X server的版本:$...原创 2018-10-26 19:05:37 · 507 阅读 · 0 评论 -
Linux——Xwindows system
X windows system是一个非常大的架构,X窗口系统是能跨网络与跨操作系统平台, · 在 Unix Like 上面的图形用户接口 (GUI) 被称为 X 或 X11;· X11 是一个『软件』而不是一个操作系统;· X11 是利用网络架构来...原创 2018-10-26 18:02:10 · 529 阅读 · 0 评论 -
Linux——SRPM的使用:rpmbuild(optional)
1、利用默认值安装SRPM文件(--rebuild/--recompile)关于rpmbuild选项与参数--rebuild 这个选项会将后面的 SRPM 进行『编译』与『打包』的动作,最后会产生 RPM 的文件,但是产生的 RPM 文件并没有安装到系统上。当你使用 --rebuild 的时候,最后通常会发现一行字体: Wrote: /root/rpmbuild/RP...原创 2018-10-26 17:07:31 · 784 阅读 · 0 评论 -
Linux——YUM在线升级机制
yum是透过分析rpm的标头资料后,根据各软件的相关性制作出属性相依时的解决方案,然后可以自动处理软件的相依属性问题,以解决软件安装、移除、升级问题。由于distribution必须要先释出软件,然后将软件放置于yum服务器上面,以提供客户端来要求安装与升级之用的。因此我们想要使用yum的功能时,必须要先找到适合的yumserver才行啊!而每个yumserver可能都会...原创 2018-10-26 16:28:45 · 462 阅读 · 0 评论 -
Linux——RPM软件管理程序:rpm
1、RPM默认安装路径若环境检查合格,那么RPM文件就开始被安装到Linux系统,安装完毕后,该软件的相关信息就会被写入到/var/lib/rpm,目录下的数据库文件中。2、RPM安装(install)[root@study~]#rpm-ivhpackage_name选项与参数:-i:install的意思-v:察看更细部的安装信息画面-h:以安装信息列显...原创 2018-10-26 14:39:18 · 408 阅读 · 0 评论 -
Linux——核心与核心模块
核心与核心模块的位置·核心:/boot/vmlinuz或/boot/vmlinuz-version;·核心解压缩所需RAMDisk:/boot/initramfs(/boot/initramfs-version);·核心模块:/lib/modules/version/kernel或/lib/modules/$(uname-r)/kernel;·核心原始码...原创 2018-10-23 20:26:46 · 292 阅读 · 0 评论 -
Linux——判断式
1、利用test指令的测试功能命令:$ test -e 文件绝对路径 ##测试文件是否存在。此命令不显示信息,我们可以通过 $? 或 && 及 ||来展现结果如下命令:$ test -e 文件绝对路径 && echo "exist" || echo "no exist"测试的标志 代表意义 1.关...原创 2018-10-10 19:20:58 · 449 阅读 · 0 评论 -
Linux——简单shell scripts
1、简单范例<1>对谈式脚本:变量内容由用户决定[hadoop1@hadoop bin]$ vim showname.sh#!/bin/bash#program:# user inputs his first name and last name .program show his full name #history # 2018.10.9 l...原创 2018-10-10 14:54:44 · 250 阅读 · 0 评论 -
Linux——可唤醒停机期间的工作服务
1、anacronanacron不是用来取代crontab的,anacron存在的目的在于处理非24小时一直启动的Linux系统的crontab的执行,以及某些原因导致的超过时间而没有被执行的排程工作anacron每个小时会被crond执行一次。2、anacron与/etc/anacrontabanacron是一支程序,其配置文件被放置在/etc/cron.hourlyanacro...原创 2018-10-16 20:59:00 · 166 阅读 · 0 评论 -
Linux——shell script的追踪与debug
关于sh命令 [dmtsai@study~]$sh[-nvx]scripts.sh 选项与参数: -n:不要执行script,仅查询语法的问题; -v:再执行sccript前,先将scripts的内容输出到屏幕上; -x:将使用到的script内容显示到屏幕上,这是很有...原创 2018-10-12 20:29:36 · 114 阅读 · 0 评论 -
Linux——循环loop
1、while do done ,until do done(不定循环) while [ condition ] #中间括号内的状态就是判断式 do #循环的开始 程序段落 done ...原创 2018-10-12 20:19:18 · 781 阅读 · 0 评论 -
Liunx——参考数据与延伸阅读
1、计算机概论·注1:名片型计算机,或单版计算机:o香蕉派台湾官网:http://tw.bananapi.org/oXapplepi粉丝团:https://www.facebook.com/roseapplepi·注2:可穿戴式计算机:http://en.wikipedia.org/wiki/Wearable_computer·注3:对于CPU的原理有兴趣...原创 2018-10-05 18:03:39 · 835 阅读 · 0 评论