- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 yum 安装mysql
一、安装MySQL1）修改yum源（可跳过） yum源（阿里云）http://www.cnblogs.com/lin1/p/5607121.html2）yum安装mysql-server ，开启mysqld服务并创建root用户创建其他用户可以：二、添加开机启动Hive的安装与部署（MySQL作为元数据）感谢这个...
2019-12-23 16:56:09
203
转载 Azkaban基本及编译
Azkaban基础篇工作流概述工作流是将一组任务组织起来以完成某个经营过程：定义了任务的触发顺序和触发条件，每个任务可以由一个或多个软件系统完成，也可以由一个或一组人完成，还可以由一个或多个人与软件系统协作完成。例：请假--》1天：部门经理审批 3天：部门经理审批---》hr 5天：部门...
2019-12-20 23:58:50
1175
原创 Spark Streaming
Spark Streaming概述Spark Streaming是对于Spark core API的拓展（因为是基于Spark core，所以安装完Spark就能直接使用Spark Streaming），从而支持对于实时数据流的可拓展，高吞吐量和容错性流处理。数据可以由多个源取得，例如：Kafka，Flume，Twitter，ZeroMQ，Kinesis或者TCP接口，同时可以使用由如map，...
2019-12-17 17:42:37
222
原创 spark SQL
spark SQL 概述Spark SQL是Apache Spark的用于处理结构化数据的模块。强调的是"结构化数据"，而非"SQL"Spark SQL 提供的操作数据的方式SQL DataFrame API Dataset API集成将SQL查询与Spark程序无缝混合。Spark SQL使您可以使用SQL或熟悉的DataFrame API在Spark程序中查询结构化数...
2019-12-17 12:21:10
198
原创 spark core 进阶
spark核心概念Application 基于Spark的用户程序。由群集上的adriver programandexecutors组成。=1 driver +多个executors Application jar 一个包含用户的Spark应用程序的jar。在某些情况下，用户将希望创建一个包含其应用程序及其依赖项的“超级jar”。用户的jar绝不能包含Hadoop或S...
2019-12-13 16:07:16
190
原创 pyspark运行模式(local,standalone,yarn)
运行模式local模式： 一般开发模式中使用常用参数 --master --name --py-filesbin/spark-submit --master local[2] --name spark0402 /opt/datas/helloWord.py file:///opt/datas/spark_readme.txt file://...
2019-12-12 16:18:58
2193
原创 spark core 核心RDD
RDD常用操作 transformation[转换（从已经存在的中创建新数据集）] RDDA-------transformation------>RDDB例：rddb=rdda.map(....)map/filter/group by/distinct/...转换惰性的，并不会计算结果，仅仅只会记住数据集作用上一个转换当转换遇到action，才会干活...
2019-12-11 18:17:28
437
原创 pyspark相关配置
hadoop(配置文件都在$HADOOP_HOME/etc/hadoop)hadoop.env.sh #export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/opt/modules/jdk1.8.0_11#配置java_home core-site.xml <configuration> <property>...
2019-12-11 11:58:09
1133
原创 linux 常规设置
1.设置ip地址虚拟机设置IP地址2.创建用户adduser kfkpasswd kfkExit3、文件中设置主机名vi /etc/sysconfig/network4、主机名映射vi /etc/hostsIP地址 bigdata-pro01.kfk.com bigdata-pro017、root用户下设置无密码用户切换ls...
2019-12-09 15:22:42
179
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人