若泽大数据=拓展
吾..二..二
路虽远,行则将至
展开
-
Linux内核OOM保护机制(查看系统日志)
kill: 参考文献: 转载:https://www.cnblogs.com/felixzh/p/9238274.html 转载 : https://blog.csdn.net/zgrjkflmkyc/article/details/77645570 人工维护或进程在Linux中使用内存最大 时,保护机制自动kill 我们应该估算系统内存,合理分配 解决方法:赶快升级,把不重要的服务停了,把内存加...转载 2019-07-12 02:52:31 · 1081 阅读 · 0 评论 -
ruoze data -第一阶段—高危命令整理
1 rm -rf 强制删除 删除文件或文件夹,切记先确认是否真的不需要。除非自己备份一下 生产上凡是碰见rm -rf强制删除文件夹的 ,路径一定先判断存在不,不存在 就skip(跳过);存在就rm 2 kill -9 kill -9 $(pgrep -f xxx) 生产上假如非要执行kill杀进程,一定要确认清楚 1.该进程是否真的杀?需求确认清楚,多问问领导和同事。 2.杀的进...原创 2019-07-20 14:32:29 · 217 阅读 · 0 评论 -
-大数据入门-2-Hadoop-block损坏恢复
公众号,照着敲,手机才能打开,哈哈哈哈小陈子加油哦转载 2019-07-20 15:57:57 · 265 阅读 · 0 评论 -
大数据入门-2-Hadoop-小文件有什么危害(hive、spark到hdfs)
1危害: 1、NameNode需要的内存大大增大,增加NameNode压力,这样会限制了集群的扩展。 2、在HDFS中,小文件的读写处理速度要远远小于大文件 3、Hive中,小文件会开很多map,一个map开一个JVM去执行,所以这些任务的初始化,启动,执行会浪费大量的资源,严重影响性能。 Hive中小文件的预防措施有: 1.使用Sequencefile作为表存储格式,不要用textfile,在一...转载 2019-07-20 16:04:56 · 238 阅读 · 0 评论 -
-大数据入门-2-Hadoop-split与block的关系
在hadoop中第二种划分是由InputFormat这个接口来定义的,其中有个getSplits方法。这里就有了一个新的不为人熟知的概念:Split。 Split的作用是什么,Split和Block是什么关系,下面就可以说明清楚。 在Hadoop0.1中,split划分是在JobTracker端完成的,发生在JobInitThread对JobInProgress调用inittasks()的时候;而...转载 2019-07-20 16:50:47 · 307 阅读 · 0 评论 -
-大数据入门-2-Hadoo-MapReduce详解
mapreduce是hadoop的计算框架,既然是做计算的框架,那么表现形式就是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(output),这个输出就是我们所需要的结果。 我们要学习的就是这个计算模型的运行规则。在运行一个mapreduce计算任务时候,任务过程被分为两个阶段:map阶段和reduce阶段,每个阶段都是用键值对(ke...转载 2019-07-20 18:20:05 · 105 阅读 · 0 评论