- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 总结一下多益网络数据研发校招面试
1.自我介绍2.说一下你觉得最好的项目3.数据仓库分层4.说一下主键和唯一索引5.说一下hive的group by 怎么在mapreduce执行的6.说一下hashmap和map区别7.说一下数据预处理8.说一下MR原理9.说一下hdfs读流程10.你在项目中遇到的困难，怎么解决的11.spark和MapReduce的区别12.hive怎么提交任务的13.说一下Linux的常用命令14.怎么查看一个带有‘abc’的进程15.chomd的用法------
2022-03-29 11:55:44
2689
原创 理想汽车2022届数据开发岗位笔试
编程题class Solution {public: int removeDuplicates(int A[], int n) { // boundary case if (!n) return 0; int k = 0; for (int i = 1; i < n; ++i) if (A[i] != A[i - 1]) A[++k] = A[i]; return k + 1; }};pub...
2022-03-26 00:07:35
798
1
原创 Hiveserver2无法启动解决方法
1.第一种可能的问题是内存不足导致，清除不组要的日志文件。2.端口号被占用，lsof -i:10000查看端口号占用情况，kill -9 10000杀掉端口号重新启动hiveserver2;3.hdfs文件系丢失文件，hadoop fsck /查看hadoop状态，显示出现The filesystem under path '/' is CORRUPT代表处于安全模式；解决：输入hadoop dfsadmin -safemode leave，hdfs fsck / -delete ...
2021-08-18 11:18:19
6716
原创 大数据中各种组件的启动停止脚本
#zookeeper启动脚本#!bash/bincase $1 in "start") for i in node01 node02 node03 do echo"----------$i-------------" ssh $i "/opt/apache/zookeeper/bin/zkServer.sh start" done ;; "stop") for i in node01 node02 node03 do echo"----------...
2021-08-17 22:58:29
157
原创 安装Flume
1 下载安装包下载地址：http://flume.apache.org/下载 apache-flume-1.9.0-bin.tar.gz2 安装Flume2.1 上传Flume上传安装包软件后需要进行解压最后对解压出来的安装包进行重命名cd /homemkdir softwarecd software/rz #上传apache-flume-1.9.0-bin.tar.gztar -zxvf apache-flume-1.9.0-bin.tar.gzmv ap..
2021-08-17 22:53:38
146
原创 MongoDB安装（linux版本CentOS7）
CentOS7安装MongoDB-tgz包安装1. 安装依赖前提条件，安装MongoDB社区 .tgz tarball所需的依赖项2 安装.tgz包2.1 下载tgz包选择版本4.4.2平台选择RedHat/CentOS 7.0包选择tgz下载好以后需要上传到虚拟机服务器上上传目录为/usr/local/mongodb上传到服务器以后进行解压解压以后重命名为mongodb-4.4.2cd /usr/localmkdir mongodbcd mongodb...
2021-08-17 22:28:09
150
原创 kettle的Linux虚拟机部署（最简洁）
Kettle的Linux系统部署 1.首先虚拟机必须安装好jdjk并配置好环境变量 此电脑-属性-高级系统设置-环境变量 注意：这里是jdk的路径在path变量添加：%JAVA_HOME%\bin%JAVA_HOME%\jre\bin 2.下载kettle,现在更名叫pdi。下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration/下载完后rz...
2021-05-05 23:14:05
1181
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人