大数据
RETURN100ERRORS
昨日之日不可留,今日之日多烦忧
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive操作
1、建表CREATE TABLE tableName(......)ROW FORMAT DELIMITED FIELDS TERMINATED BY ','LINES TERMINATED BY '\n'2、从本地 / hdfs 导入数据# localload data local inpath '本地文件路径' into table tableName# hdfs local data inpath 'hdfs路径(不需要携带hdfs://ip:9000,直接文件地址即可)' in原创 2021-09-10 11:35:11 · 157 阅读 · 0 评论 -
Pyspark 函数
1、创建RDDtextFile = sc.textFile('logs.txt')2、统计频率textFile.countByValue()原创 2021-09-09 20:40:02 · 229 阅读 · 0 评论 -
Hadoop 单机安装
**前提:**确保JDK环境已经配置好步骤:1、 下载并配置环境,本文默认安装目录 /opt/apps配置安装目录并下载hadoop# 创建apps目录mkdir /opt/apps# 进入该路径cd /opt/apps# 下载hadoop压缩包wget http://archive.apache.org/dist/hadoop/core/hadoop-2.9.2/hadoop-2.9.2.tar.gz解压并配置环境变量# 解压hadoop压缩包tar -zxvf hadoop-2原创 2021-09-01 16:17:33 · 636 阅读 · 0 评论
分享