![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 53
安心做个小废物
这个作者很懒,什么都没留下…
展开
-
Docker安装airflow(超详细)单机,集群部署教程
基于这个项目 :git clone https://github.com/puckel/docker-airflow上图的文件解压后如图:### 更改配置文件vim airflow.cfg### 文件移动docker-airflow底下所有文件放进 /usr/local/airflowdocker的安装这里不再列出参考:https://www.runoob.com/docker/centos-docker-install.html启动:docker-compose -..原创 2021-06-21 18:06:20 · 1641 阅读 · 0 评论 -
macbook 使用brew安装Java环境
命令:brew -v 查看brew的版本如果没有安装brew,安装即可命令:brew install java然后执行: sudo ln -sfn /usr/local/opt/openjdk/libexec/openjdk.jdk /Library/Java/JavaVirtualMachines/openjdk.jdk然后安装成功命令:java -versiojn...原创 2021-03-11 16:15:54 · 5258 阅读 · 2 评论 -
spark streaming消费kafka的数据 并写入HDFS和直接写hive表 (scala版本)
首先我消费的kafka的数据的类型为json类型数据 话不多说直接上代码 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">.原创 2021-01-01 01:50:44 · 2148 阅读 · 5 评论 -
CDH6.2.1 集群在线安装kafka 和 brokerid报错 以及 连接超时报错 总结
进入 cloudera manager 点击添加服 选择kafka 然后点击选择主机 本教程选择了三台机器 点击继续进入Review Changes页面 配置zookeeper的目录 配置Java Help Size of Broker (一定要大于512) 点击继续,运行完成后安装成功(如果是首次安装) 因为不是首次安装所以就出现了报错 此时我们点击角色日志 查看报错日志 通过日志可以看出是broker id不匹配的问题 这个时候我们原创 2020-12-28 17:48:01 · 1203 阅读 · 1 评论 -
spark对DF的基本操作(python版 & scala版)
1.DataFrame column类型转换python: df_green = df_green.withColumn("VendorID", df_green["VendorID"].cast(IntegerType()))scala: val df_green_1 = df_green.withColumn("VendorID", col("VendorID").cast(IntegerType))2.DataFrame 字段的删除python:原创 2020-11-23 16:46:28 · 2003 阅读 · 0 评论 -
Dependency ‘org.apache.hadoop:hadoop-hdfs:2.8.1‘ not found more... (⌘F1)
maven项目pom.xml中显示如下<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.8.1</version></dependency><dependency> <groupId>org.apache原创 2020-07-08 16:16:47 · 4286 阅读 · 0 评论