qq_36956082的博客

KNNK-Means1.KNN 是分类算法2. 监督学习3. 喂给它的数据集是带 label 的数据，已经是完全正确的数据1.K-Means 是聚类算法2. 非监督学习3. 喂给它的数据集是无 label 的数据，是杂乱无章的，经过聚类后才变得有点顺序，先无序，后有序没有明显的前期训练过程，属于 memory-based learning有明显的前期训练过程K ...

idea中flink启动报错org.apache.flink.api.common.ExecutionConfig$GlobalJobParameters启动时出现如下报错：Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.common.ExecutionConfig$GlobalJobParamete...

Dataset&Datastream API 1）熟悉两套API：DataSet/DataStream Java/Scala MapReduce ==》 Hive SQL Spark ==> Spark SQL Flink ==> SQL 2）Flink是支持批处理/流处理，如何...

DataSet API编程DataSet API开发概述 Data Source Transformation SinkSource：源/源头 reading files local collections Source ==> Flink（transformations）==> Sin...

大数据处理的流程： MapReduce：input-> map（reduce）-> output Storm：input-> Spout/Bolt-> output Spark：input-> transformation/action-> output Flink：input-> transformation/s...

查询两个数据表中的相关联的数据整合SQL语句select b.course_name course_name, a.click_count click_countfrom( (select course_id,click_count from course_click_count where day='20200216') a join (select course_id...

12-13 -功能一之Hbase及打包注意事项功能1：今天到现在为止实战课程的访问量 yyyyMMdd courseio使用数据库来进行存储我们的统计结果 Spark Streaming把统计结果写入到数据库里面可视化前端根据：yyyyMMdd courseid把数据库里面的统计结果展示出来 ...

12-8 -通过定时调度工具每一分钟产生一批数据1.在线工具https://tool.lu/crontab/contab -e */1 * * * * /hadoop/data/project/log_generator.sh2.对接python日志产生器输出的日志到Flume定义名字为streaming_project.conf选...

第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础1.日志到flume环节编写flume配置文件streaming.conf后进入flume目录cd /home/hadoop/app/apache-flume-1.6.0-cdh5.7.0-bin/conf启动flume-ng agent --conf $FLUME_HOM...

第9章 Spark Streaming整合Flume1.Receiver方式整合1）启动zk./zkServer.sh start2）启动Kafka./kafka-server-start.sh -daemon /home/hadoop/app/kafka_2.11-0.9.0.0/config/server.properties其中-daemon是指后台运行3）创建topic./...

1.2.

一：Linux篇rpm--》Redhat package manage二：.高并发负载均衡配置•1，准备3台虚拟机•2，先配置3台虚拟机的网络：–eth0，配置在一个网段•DIP,RIP在一个网段•3，配置lvs的VIP–ifconfig eth0:8 192.168.41.100/24-cat /proc//sys/net/ipv4/ip_forwar...

伪分布式 （single node setup）---------------------------安装jdk、配置环境变量，测试rpm -i jdk-7u67-linux-x64.rpm #安装jdkcd /usr/java/jdk1.7.0_67/ #进入jdk安装目录，准备配置环境变量pwd #查看当前目录并复制vi + /etc/pro...