大数据面试题 数据开发面试题1.Linux基础知识1.1Linux常用命令1)查看cpu,内存2)修改文件目录权限属主3)挂载磁盘4)查看磁盘使用情况5)打包及压缩6)查看进程7)查看IP8)查找文件9)远程拷贝文件10)文本处理命令1.2Shell脚本编写设计一个Shell程序,在/home目录下创建100个文件,并且修改文件权限,其中其它用户的权限为:读。文件全部者的权限为:读、...
linux网络配置 lo回环接口主机内部服务之间沟通的网络接口回环接口—-人的神经—-127.0.0.1—-localhost0.0.0.0代表所有以root权限编辑/etc/sysconfig/network-scripts/ifcfg-eno16777736这个文件,效果如下:TYPE=EthernetBOOTPROTO=static #设置静态IpDEFROUTE=yesIPV4_FAILUR...
一个强大的linux命令——find之exec https://blog.csdn.net/u014762921/article/details/54287302exec和source都属于bash内部命令(builtins commands),在bash下输入man exec或man source可以查看所有的内部命令信息。 bash shell的命令分为两类:外部命令和内部命令。外部命令是通过系统调用或独立的程序实现的,如sed、aw...
k8s使用 https://blog.csdn.net/weixin_29115985/article/details/78932991一. k8s基本操作命令:创建:kubectl create -f xxx.yaml查询:kubectl get pod yourPodNamekubectl describe pod yourPodName删除:kubectl delete pod yourPod...
Linux 文件描述符详解 https://www.cnblogs.com/zsql/p/11139760.htmlOverview了解Linux怎样处理输入和输出是非常重要的。一旦我们了解其原理以后,我们就可以正确熟练地使用脚本把内容输出到正确的位置。同样我们也可以更好地理解输入重定向和输出重定向。Linux标准文件描述符文件描述符 缩写 描述0 STDIN 标准输入1 STDOUT 标准输出2 STDERR...
linux并发编程 linux下实现并发逻辑################shell 模拟实现并发跑数#################有时候我们知道一些程序是可以同时跑的,互不影响,为了提高效率不得不使用并发跑脚本#1、思路一我们都知道在linux中把程序丢后台跑脚本,我们可以同时跑很多个,这就是实现并发的思路,但是呢?如果我们一次性跑很多的后台程序,如果服务器没能扛住。。。。这就尴尬了,如果手工控制。...
hbase WAL机制原理 解决的问题HBase的Write Ahead Log (WAL)提供了一种高并发、持久化的日志保存与回放机制。每一个业务数据的写入操作(PUT / DELETE)执行前,都会记账在WAL中。如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。本文主要探讨HBase的WAL机制,如何从线程模型、消息机制的层面上,解决这些问题:由于多个HBase客户端可以对某一台HB...
hbase远程调试 远程调试HBase步骤:1 修改HBASE_HOME/bin/hbase文件,增加-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=10444如figure out which class to run if [ “COMMAND"="shell"];the...
jstack案例演示 https://www.cnblogs.com/zhengyun_ustc/archive/2013/01/06/dumpanalysis.htmljstack Dump 日志文件中的线程状态dump 文件里,值得关注的线程状态有:死锁,Deadlock(重点关注)执行中,Runnable等待资源,Waiting on condition(重点关注)等待获取监视器,Waiting on...
HBase snapshot原理 http://hbasefly.com/2017/09/17/hbase-snapshot/?bulwvo=dw1sw2snapshot(快照)基础原理snapshot是很多存储系统和数据库系统都支持的功能。一个snapshot是一个全部文件系统、或者某个目录在某一时刻的镜像。实现数据文件镜像最简单粗暴的方式是加锁拷贝(之所以需要加锁,是因为镜像得到的数据必须是某一时刻完全一致的数据),拷贝的...
linux 安装 rz sz 工具 yum install gcc gcc-c++ gcc-g771.软件安装1)编译安装root 账号登陆后,依次执行以下命令:cd /tmpwget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gztar zxvf lrzsz-0.12.20.tar.gz && cd lrzsz-0.12.20./configu...
Elasticsearch对Hbase中的数据建索引实现海量数据快速查询 https://blog.csdn.net/m0_37739193/article/details/78029734Elasticsearch+Hbase实现海量数据秒回查询https://blog.csdn.net/sdksdk0/article/details/53966430
IDEA打JAR包的正确步骤! 1.打开idea,这个不用多说了,open一个工程,完了界面如下2.点击菜单栏File–>Project Structure打开Project Structure3.点+按钮,选择JAR–》From Modules…打开create jar from modules对话框4.下面这一步比较重要,我就曾经入坑,最后打出的jar包缺少main-class属性导致无法执行,这里选择MA...
linux下的source命令(.命令)解释及应用 用法:source filename # filename必须是可执行的脚本文件或者. filename # 注意“.”号后面还有一个空格123功能:通知当前shell读入路径为filename的文件并依次执行文件中的所有语句。通常用于重新执行刚修改的初始化文件,使之立即生效...
kafka消费者组概念 https://blog.csdn.net/cgs666/article/details/85257819应用程序使用 KafkaConsumer向 Kafka 订阅主题,并从订阅的主题上接收消息 。 从 Kafka 读取数据不同于从其他悄息系统读取数据,它涉及一些独特的概念和想法。如果不先理解 这些概念,就难以理解如何使用消费者 API。所以我们接下来先解释这些重要的概念,然 后再举几个例子,...