大数据运维一般会遇到哪些经典问题?

  1. 数据倾斜:在处理大规模数据时,可能会出现某些节点处理的数据量远大于其他节点的情况,导致整体处理效率降低。解决方法包括重新分配数据、使用CombineFileInputFormat等。

  2. NameNode内存溢出:当Hadoop集群中的NameNode内存不足时,可能会导致其无法正常工作。解决方法包括增加NameNode的内存、优化Hadoop配置等。

  3. 数据丢失:在大数据处理过程中,可能会因为各种原因导致数据丢失。解决方法包括定期备份数据、使用HDFS的CheckSum机制等。

  4. 性能瓶颈:在大数据处理过程中,可能会出现性能瓶颈,导致处理速度降低。解决方法包括优化Hadoop配置、使用更高级的硬件设备等。

  5. 安全问题:大数据运维中需要考虑到数据的安全性,防止数据被非法访问或篡改。解决方法包括设置访问权限、使用加密技术等。

  • 10
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
⼤数据运维⽅向⾯试题 ⼤数据运维⽅向⾯试题 ⼀、基础题 1.请写出http和https请求的区别,并写出遇到过的响应状态码. ⼀、https协议需要到ca申请证书,⼀般免费证书很少,需要交费。 ⼆、http是超⽂本传输协议,信息是明⽂传输,https 则是具有安全性的ssl加密传输协议。 三、http和https使⽤的是完全不同的连接⽅式,⽤ 的端⼝也不⼀样,前者是80,后者是443。 四、http的连接很简单,是⽆状态的;HTTPS协议是由SSL+HTTP协议构建的可进⾏加密传输、⾝份认证的⽹络协议,⽐http协议安全。 状态码常⽤: 301 永久重定向 403 服务器已经理解请求,但是拒绝执⾏ 404 页⾯丢失 500 服务器错误 2.请写出在linux系统上⾯搭建系统或者产品等⼤数据平台需要对系统进⾏哪些检查。 从稳定性说:需要检查集群的每⼀台服务器的命令安装是否完善,环境变量是否配置完毕,每⼀台服务器的软件配置是否有问题。 扩展性: 能够快速扩展机器,横向扩展条件是否具备 3.请写出使⽤过的linux系统有哪些版本,如何查看系统信息?(发⾏版本,内核版本等信息)。 Centos 6.5 6.6 x64 1.查看发⾏版本命令:cat /etc/issue 2.查看内核版本: cat /proc/version 4.请使⽤命令在linux系统创建⽤户test,⽤户组为test1,⽤户⽬录 /test , 并赋予sudo权限。 useradd -d /test -m test -g test1 -G root useradd 选项 ⽤户名 其各选项含义如下: -c comment 指定⼀段注释性描述。 -d ⽬录 指定⽤户主⽬录,如果此⽬录不存在,则同时使⽤-m选项,可以创建主⽬录。 -g ⽤户组 指定⽤户所属的⽤户组。 -G ⽤户组,⽤户组 指定⽤户所属的附加组。 -s Shell⽂件 指定⽤户的登录Shell。 -u ⽤户号 指定⽤户的⽤户号,如果同时有-o选项,则可以重复使⽤其他⽤户的标识号。 Sudo可以修改⽂件需要root⽤户 sudo的⼯作过程如下: 1,当⽤户执⾏sudo时,系统主动寻找/etc/sudoers⽂件,判断该⽤户是否有执⾏sudo的权限 2,确认⽤户具有可执⾏sudo的权限后,让⽤户输⼊⽤户⾃⼰的密码确认 3,若密码输⼊成功,则开始执⾏sudo后续的命令 4,root执⾏sudo时不需要输⼊密码(eudoers⽂件有配置root ALL=(ALL) ALL这样⼀条规则) 5,若欲切换的⾝份与执⾏者的⾝份相同,也不需要输⼊密码 5.写出最少3个监控系统指标的命令(如内存,CPU ,IO,磁盘等)。 看内存 :free 看cpu:more /proc/cpuinfo 看IO:iostat -x 10 看磁盘:fdisk -l 6.请⽤多种⽅式在linux系统设置环境变量,并指出各种⽅式的区别。 1、控制台设置,不赞成这种⽅式,因为他只对当前的shell 起作⽤,换⼀个shell设置就⽆效了: $PATH="$PATH":/NEW_PATH (关闭 shell Path还原为原来的path) 2、修改 /etc/profile ⽂件,如果你的计算机仅仅作为开发使⽤时推存使⽤这种⽅法,因为所有⽤户的shell都有权使⽤这个环境变量,可能 给系统带来安全性问题。这⾥是针对所有的⽤户的,所有的shell 在/etc/profile的最下⾯添加: export PATH="$PATH:/NEW_PATH" 3、修改bashrc⽂件,这种⽅法更为安全,它可以把使⽤这些环境变量的权限控制到⽤户级别,这⾥是针对某⼀特定的⽤户,如果你需要给 某个⽤户权限使⽤这些环境变量,你只需要修改其个⼈⽤户主⽬录下的 .bashrc⽂件就可以了。 在下⾯添加: Export PATH="$PATH:/NEW_PATH" 7.请在linux系统添加指定的定时任务。(每⽉1,15⽇,1,10点运⾏ /run.sh). * 1 ,10 1,15 * * sh /run.sh 8.编写个shell脚本将/data⽬录下⼤于100k的⽂件转移到 /tmp ⽬录下。 #! /bin/sh directory=/data/* filesize=0 for file in $directory do filesize=$(wc -c < $(basename $file)) if [ $filesize -gt 100*1024 ] then mv $(basename $file) /tmp fi done 9.请使⽤命令写出在linux系统对于⽂件01.txt ,查找⾏内容包含"java"关键字,但不包含"bug"关键字的
⼤数据运维⽅向⾯试题 ⼤数据运维⽅向⾯试题 ⼀、基础题 ⼀、基础题 1.请写出http和https请求的区别,并写出遇到过的响应状态码. ⼀、https协议需要到ca申请证书,⼀般免费证书很少,需要交费。 ⼆、http是超⽂本传输协议,信息是明⽂传输,https 则是具有安全性的ssl加密传输协议。 三、http和https使⽤的是完全不同的连接⽅式,⽤ 的端⼝也不⼀样,前者是80,后者是443。 四、http的连接很简单,是⽆状态的;HTTPS协议是由SSL+HTTP协议构建的可进⾏加密传输、⾝份认证的⽹络协议,⽐http协议安全。 状态码常⽤: 301 永久重定向 403 服务器已经理解请求,但是拒绝执⾏ 404 页⾯丢失 500 服务器错误 2.请写出在linux系统上⾯搭建系统或者产品等⼤数据平台需要对系统进⾏哪些检查。 从稳定性说:需要检查集群的每⼀台服务器的命令安装是否完善,环境变量是否配置完毕,每⼀台服务器的软件配置是否有问题。 扩展性: 能够快速扩展机器,横向扩展条件是否具备 3.请写出使⽤过的linux系统有哪些版本,如何查看系统信息?(发⾏版本,内核版本等信息)。 Centos 6.5 6.6 x64 1.查看发⾏版本命令:cat /etc/issue 2.查看内核版本: cat /proc/version 4.请使⽤命令在linux系统创建⽤户test,⽤户组为test1,⽤户⽬录 /test , 并赋予sudo权限。 useradd -d /test -m test -g test1 -G root useradd 选项 ⽤户名 其各选项含义如下: -c comment 指定⼀段注释性描述。 -d ⽬录 指定⽤户主⽬录,如果此⽬录不存在,则同时使⽤-m选项,可以创建主⽬录。 -g ⽤户组 指定⽤户所属的⽤户组。 -G ⽤户组,⽤户组 指定⽤户所属的附加组。 -s Shell⽂件 指定⽤户的登录Shell。 -u ⽤户号 指定⽤户的⽤户号,如果同时有-o选项,则可以重复使⽤其他⽤户的标识号。 Sudo可以修改⽂件需要root⽤户 sudo的⼯作过程如下: 1,当⽤户执⾏sudo时,系统主动寻找/etc/sudoers⽂件,判断该⽤户是否有执⾏sudo的权限 2,确认⽤户具有可执⾏sudo的权限后,让⽤户输⼊⽤户⾃⼰的密码确认 3,若密码输⼊成功,则开始执⾏sudo后续的命令 4,root执⾏sudo时不需要输⼊密码(eudoers⽂件有配置root ALL=(ALL) ALL这样⼀条规则) 5,若欲切换的⾝份与执⾏者的⾝份相同,也不需要输⼊密码 5.写出最少3个监控系统指标的命令(如内存,CPU ,IO,磁盘等)。 看内存 :free 看cpu:more /proc/cpuinfo 看IO:iostat -x 10 看磁盘:fdisk -l 6.请⽤多种⽅式在linux系统设置环境变量,并指出各种⽅式的区别。 1、控制台设置,不赞成这种⽅式,因为他只对当前的shell 起作⽤,换⼀个shell设置就⽆效了: PATH =" PATH":/NEW_PATH (关闭 shell Path还原为原来的path) 2、修改 /etc/profile ⽂件,如果你的计算机仅仅作为开发使⽤时推存使⽤这种⽅法,因为所有⽤户的shell都有权使⽤这个环境变量,可能 给系统带来安全性问题。这⾥是针对所有的⽤户的,所有的shell 在/etc/profile的最下⾯添加: export PATH="$PATH:/NEW_PATH" 3、修改bashrc⽂件,这种⽅法更为安全,它可以把使⽤这些环境变量的权限控制到⽤户级别,这⾥是针对某⼀特定的⽤户,如果你需要给 某个⽤户权限使⽤这些环境变量,你只需要修改其个⼈⽤户主⽬录下的 .bashrc⽂件就可以了。 在下⾯添加: Export PATH="$PATH:/NEW_PATH" 7.请在linux系统添加指定的定时任务。(每⽉1,15⽇,1,10点运⾏ /run.sh). * 1 ,10 1,15 * * sh /run.sh 8.编写个shell脚本将/data⽬录下⼤于100k的⽂件转移到 /tmp ⽬录下。 #! /bin/sh directory=/data/* filesize=0 for file in $directory do filesize=(wc c < (basename $file)) if [ $filesize -gt 100*1024 ] then mv (basenamefile) /tmp fi done 9.请使⽤命令写出在linux系统对于⽂件01.txt ,查找⾏内容包含"java"关键字,但不包含"bug"关键字的

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值