- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 aws的EMR搭建Hadoop集群
还是先极简介绍一下EMR是什么，Amazon EMR 基于 Hadoop 的开源框架将您的数据分布在可重新调整大小的 Amazon EC2 实例集群中并进行处理。Amazon EMR 可用于各种应用程序中，包括日志分析、Web 索引、数据仓库、机器学习、财务分析、科学模拟和生物信息学。具体的功能特性可以直接到官网查阅。直接上实验：实验包括：1. 使用EMR创建Hadoop集群2. 定义schema，创建示例表。3. 通过HiveQL分析数据，并将分析结果保存到S3上4. 下载已经分析结果数据。
2021-12-16 11:56:11
2031
原创 后台运行相关
使用ssh会话在远程linux服务器执行命令时，如果由于网络问题终端断开连接，则正在前台运行命令也会随之终止，为了解决这个问题，就需要将命令放在后台运行，并且退出当前终端也不会终止进程。#&命令command &在要执行的命令后加&表示将此进程放在后台运行，程序中的输出依然会在前台显示。如果希望继续在当前终端工作的话，可以用以下命令将输出重定向到文件中：command > out.file 2>&1 &命令中参数的含义见下文noh.
2021-12-08 18:15:03
453
原创 查看文件数量
查看文件数量命令1.查看当前目录下文件个数 ls -l |grep "^-"|wc -l2.查看当前目录下,所以文件个数,包括当前目录下子文件夹中的所以文件。 ls -lR|grep "^-"|wc -l (包括子文件夹里的)3.查看当前目录下文件夹的个数 ls -lR|grep "^d"|wc -l (文件夹个数)查看某个单词数量：grep -o 单词 文件名 | wc -l...
2021-12-08 16:30:07
2261
原创 sed相关操作
sed：空格 转换为 ， 命令：sed 's/ /,/g' 需转换文件名> 结果文件名 删除文件中所有换行符：我们总会习惯使用下面命令来操作，但是会发现没有效果，这是因为sed的操作单位就是行sed -i 's/\\n//g' file正确的做法是如下这样sed -i ':a;N;$!ba;s/\n/;/g' file如果是每两行删除换行符，可以执行下面语句sed -i 'N;s/\\n/:/' curr_head...
2021-12-08 14:21:49
485
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人