![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
那些你很冒险的梦&
这个作者很懒,什么都没留下…
展开
-
大数据技术学习文档
最近在整理大数据学习的文档,很合适初学者,需要的分享给大家。网盘分享链接可以私我哟!原创 2023-01-04 14:18:05 · 192 阅读 · 0 评论 -
总结一下多益网络数据研发校招面试
1.自我介绍2.说一下你觉得最好的项目3.数据仓库分层4.说一下主键和唯一索引5.说一下hive的group by 怎么在mapreduce执行的6.说一下hashmap和map区别7.说一下数据预处理8.说一下MR原理9.说一下hdfs读流程10.你在项目中遇到的困难,怎么解决的11.spark和MapReduce的区别12.hive怎么提交任务的13.说一下Linux的常用命令14.怎么查看一个带有‘abc’的进程15.chomd的用法------原创 2022-03-29 11:55:44 · 2701 阅读 · 0 评论 -
Hiveserver2无法启动解决方法
1.第一种可能的问题是内存不足导致,清除不组要的日志文件。2.端口号被占用,lsof -i:10000查看端口号占用情况,kill -9 10000杀掉端口号重新启动hiveserver2;3.hdfs文件系丢失文件,hadoop fsck /查看hadoop状态,显示出现The filesystem under path '/' is CORRUPT代表处于安全模式;解决:输入hadoop dfsadmin -safemode leave,hdfs fsck / -delete ...原创 2021-08-18 11:18:19 · 6743 阅读 · 0 评论 -
大数据中各种组件的启动停止脚本
#zookeeper启动脚本#!bash/bincase $1 in "start") for i in node01 node02 node03 do echo"----------$i-------------" ssh $i "/opt/apache/zookeeper/bin/zkServer.sh start" done ;; "stop") for i in node01 node02 node03 do echo"----------...原创 2021-08-17 22:58:29 · 158 阅读 · 0 评论 -
安装Flume
1 下载安装包下载地址:http://flume.apache.org/下载 apache-flume-1.9.0-bin.tar.gz2 安装Flume2.1 上传Flume上传安装包软件后需要进行解压最后对解压出来的安装包进行重命名cd /homemkdir softwarecd software/rz #上传apache-flume-1.9.0-bin.tar.gztar -zxvf apache-flume-1.9.0-bin.tar.gzmv ap..原创 2021-08-17 22:53:38 · 149 阅读 · 0 评论 -
MongoDB安装(linux版本CentOS7)
CentOS7安装MongoDB-tgz包安装1. 安装依赖前提条件,安装MongoDB社区 .tgz tarball所需的依赖项2 安装.tgz包2.1 下载tgz包选择版本4.4.2平台选择RedHat/CentOS 7.0包选择tgz下载好以后需要上传到虚拟机服务器上上传目录为/usr/local/mongodb上传到服务器以后进行解压解压以后重命名为mongodb-4.4.2cd /usr/localmkdir mongodbcd mongodb...原创 2021-08-17 22:28:09 · 162 阅读 · 0 评论