冥王_Hades-CSDN博客

原创 Kafka-SparkStreaming-Redis

Kafka-SparkStreaming-Redis标签（空格分隔）：实时流式处理数据保存到Redis准备工作启动，namenode datanode 启动 zookeeper启动kafka的Topic 启动Redis服务模拟数据创建常量工具类、随机数获取类为了模拟数据真正的模拟数据以JSON个数模拟数据...

2018-08-16 20:46:53 675

原创 Python自定义函数，匿名函数，自定义类

Python-day03标签（空格分隔）：函数面向对象自定义函数语法值传递带有默认值的函数*agrs **kwargsreturn 返回值矩阵，乘法表，冒泡排序lambda匿名函数只是一个表达式，而不是一个代码块，不能写太多逻辑进去filter函数用于过滤列，过...

2018-08-16 21:03:31 2415 1

原创 python 循环、简单函数

Python-day02标签（空格分隔）：流程控制，循环流程控制if语句，if-else，if-elif-else语法注意if后面要冒号，下面print要缩进案例：输入一个数字输出对应星期循环while循环语法案例案例：输出三角形案例：猜数字游戏 for循环...

2018-08-16 21:01:54 523

原创 Python基础语法

Python-day01标签（空格分隔）： pyPythonPython是一种解释型、面向对象、动态数据类型的高级程序设计语言1、Python语言简洁、易读、可扩展2、跨平台，相同的代码可在不同操作系统上运行3、简单易学4、免费，开源，社区活跃，工具库丰富5、功能强大，既可作为脚本执行，也可编写大型项目软件官网下载地址： https://www.python.o...

2018-08-16 21:00:24 196

原创 Scala整理

ScalaScala 重要内容Scala：object-oriented and functional programming对象（类）与函数都是一等公民，都可以独立存在和运行建立JVM之上一门语言 *.scala -> *.class -> JVM 官网： https://www.scala-lang.org/下载： https:/...

2018-08-16 20:57:40 185

原创 HBase笔记整理

HBase笔记整理标签（空格分隔）： HBaseHBase Java api 使用Scan查询方法结果：Put添加数据结果 Get查询结果HBase 表表的创建(分区，脚本，数据导入)先创建namespace 在创建表必须要列簇 ('info') 设置分区插入...

2018-08-16 20:55:37 281

原创 Spark-core笔记

Spark-core笔记Spark框架简介spark 配置 shell启动 local[2] 启动模式 spark分类简介 spark运行模式spark shell结构图、运行模式解析 RDD五大特点运行模式与配置Spa...

2018-08-16 20:53:36 532

原创自定义UDAF函数实现去重统计效果

package com.erongda.bigdata.scala.spark.sqlimport org.apache.spark.sql.Rowimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sq...

2018-08-16 20:51:04 1024

转载 KAFKA 与 FLUME 集成配置测试

KAFKA 与 FLUME 集成配置测试标签（空格分隔）：未分类FLUME 安装配置指导链接： https://blog.csdn.net/a123demi/article/details/72637847安装FLUME 设置其支持kafka上传并压缩FLUME 并修改名字为flume... 修改文件flume-env.sh.template ->...

2018-08-16 20:49:13 175

原创 SparkStreaming与SparkSQL集成分析

SparkStreaming与SparkSQL集成分析标签（空格分隔）：未分类集成SparkStreaming 读取数据将数据转换为自己想要的格式针对RDD 进行分析操作将RDD转换为DataFrame格式最后使用DSL 或SQl 分析SQL分析必须要有SparkSession实例对象创建视图才能分析表中流程具体代码...

2018-08-16 20:40:37 2118 2

weixin_42386929的博客