HADOOP
文章平均质量分 67
weixin_43003792
性格使然!!!
展开
-
Spark基础
一。Spark基础架构 二:Spark内置模块 三 Spark Shell 1.yarn application -list def flatMap[U](f: String => TraversableOnce[U])(implicit evidence$4: scala.reflect.ClassTag[U]): org.apache.spark.rdd.RDD[U] sc.textFile(“in”).flatMap(x=>x.split(" ")).map((x)=>{(x,原创 2021-02-05 00:03:39 · 92 阅读 · 0 评论 -
flume自定义sink
一.flume自定义sink. public class MySink extends AbstractSink implements Configurable { //定义两个属性 前后缀 private String prefix; private String subfix; //获取Log对象 Logger logger = LoggerFactory.getLogger(MySink.class); @Override public void configure(Context context)原创 2021-01-29 22:45:47 · 150 阅读 · 0 评论 -
flume自定义interceptor,source,
一.自定义source 1.需求 hadoop203 监控本机端口44444,将内容分类发送给hadoop204,hadoop205,包含hello的给hadoop204,不包含的给hadoop205.都打印到控制台。 (1)自定义过滤器。 public class TypeInterceptor implements Interceptor { private List addHeaderEverts; //定义添加过头的eventlist; //初始化方法 @Override public void原创 2021-01-29 22:40:23 · 117 阅读 · 0 评论 -
HIVE操作
1.启动./hiveserver2 2.client启动beeline 3.!connect jdbc:hive2://hadoop102:10000 4. Enter username for jdbc:hive2://hadoop102:10000: atguigu Enter password for jdbc:hive2://hadoop102:10000: Connected to: Apache Hive (version 1.2.1) 5. show databases; 6.DDL crea原创 2021-01-22 23:24:49 · 145 阅读 · 0 评论 -
shell脚本学习
分区 /boot 200M /swap 2G / 全部 1.关闭防火墙 service iptables stop //服务关闭 2.chkconfig iptables off //关闭开机自启原创 2021-01-18 13:58:09 · 171 阅读 · 0 评论 -
centos常用命令
**1.搜索查找类命令 find -name "in." 2.ll | grep shenzhen 过滤查找。 3.原创 2021-01-18 12:32:06 · 142 阅读 · 0 评论