- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Linux下c语言编程之Makefile文件的编写
首先，add.c文件编写 #include"test.h" #include<stdio.h> int add(int a,int b){ return a+b; } int main(){ printf(" 2 + 3 = %d\n",add(2,3)); printf(" 2 - 3 = %d\n",add(2,3)); ...
2019-08-05 10:20:19
510
原创 常用软件的快捷键使用
Notepad++ ALT+鼠标左键 列编辑 CTRL+F 查找 CTRL+H 替换 CTRL+N 新建一个文件 CTRL+W 关闭当前文件 Ctrl-Shift-Up 将当前行上移一行 Ctrl-L 删除当前行 Ctrl-T 帮助中说是将当前行与上一行交换位置 Ctrl-U 转换为小写 Ctrl-Shift-U 转换为大写 完整版：https://www.cnblogs.com/du...
2019-08-02 13:53:07
200
原创 camera（1）
相机模组 镜头(OPTICS 光学知识) 滤光片 图像传感器（模拟电路、数字电路） 音圈电机 OTP–EEPROM（存储） 接口（MIPI.I2C.POWER） 算法（3A） AE Frame Average(帧平均) Center Weighted（中央重点测光） AWB Gray World White World AF ISP ...
2019-08-02 09:06:35
253
转载 Python常用容器 list、tuple、dict、set
list Python内置的一种数据结构 有序 可更改（添加、删除） 声明 >>>game = ["123", "LOL","456"] >>>game ["123", "LOL","456"] 获取列表长度 >>>len(game) 3 获取元素 >>>game[0] '123' 增加元素 -末尾追加 >&g...
2019-07-17 17:27:47
204
原创 Spark Streaming项目实战
需求说明 今天到现在为止实战课程的访问量 从今天到现在为止从搜索引擎引流过来的实战课程访问量 互联网访问日志概述 为什么要记录用户访问日志 1）网站页面的访问量 2）网站的黏性 3）推荐 用户行为日志内容 用户行为日志分析的意义 网站的眼睛 网站的神经 网站的大脑 Python日志产生器开发之产生访问url和ip信息 使用Python脚本实时产生数据 Python实时日志产生器开发 新建 gene...
2019-05-09 14:18:05
1846
1
原创 打造通用流处理平台
整合日志输出到Flume streaming.conf agent1.sources=avro-sources agent1.channels=logger-channel agent1.sinks=log-sink #define source agent1.sources.avro-sources.type=avro agent1.sources.avro-sources.bind=0.0....
2019-05-06 15:09:49
164
原创 Spark Streaming实时流项目实战 笔记十
Spark Streaming整合Kafka实战 实战一：Receiver-based 1）先启动zookeeper 2）启动kafka [hadoop@hadoop000 bin]$ ./kafka-server-start.sh -daemon /home/hadoop/app/kafka_2.11-0.9.0.0/config/server server-1.properties ser...
2019-05-06 12:33:32
144
原创 spark stramin实时流项目实战 9
Spark Streaming整合Flume实战 实战一：Flume-style Push-based Approach Flume Agent的编写：flume_push_streaming.conf $FLUME_HOME/conf 下创建 simple-agent.sources = netcat-source simple-agent.sinks = avro-sink simple-ag...
2019-05-06 09:46:30
105
原创 Spark Streaming 实时流处理项目实战 笔记八
Spark Streaming进阶 带状态的算子：UpdateStateByKey 实战：计算到目前为止累积出现的单词个数写入到MySQL中 使用Spark Streaming进行统计分析 Spark Streaming统计结果写入到MySQL 基于window的统计 实战：黑名单过滤 实战：Spark Streaming整合Spark SQL实战 ...
2019-05-05 15:18:17
187
原创 Spark Streaming实时流处理实战笔记七
Spark Streaming核心概念 核心概念 核心概念之StreamingContext 在IDEA中 搜索StreamingContext.scala def this(sparkContext: SparkContext, batchDuration: Duration) = { this(sparkContext, null, batchDuration) } def this(con...
2019-05-02 22:01:00
147
原创 spark streaming实时流笔记六
spark streaming 入门 概述 Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, （高吞吐量） fault-tolerant （容错） stream processing of live data streams. Spark Streaming 的...
2019-05-01 21:44:42
152
原创 实战环境搭建二
Spark环境搭建 Spark安装 下载（下载Spark的源代码）-解压-配置系统环境变量-检查是否安装成功 spark官网下载（根据spark的源码进行编译） 运行spark： ./spark-shell (如果是本地测试就用local，如果是跑在集群上就用yarn) （最终项目是跑在yarn上进行演示） ./spark-shell --master local[2] Spark c...
2019-05-01 18:04:11
130
原创 实战环境搭建一
JDK安装 Scala安装 下载-解压-配置到系统环境变量中 Maven安装 Hadoop安装 下载-解压-配置到系统环境变量-检查是否成功 配置ssh：ssh-keygen -t rsa 全部回车 ll -a查看到有一个.ssh目录 [hadoop@hadoop000 .ssh]$ ls id_rsa id_rsa.pub known_hosts [hadoop@hadoop000 ...
2019-05-01 17:32:16
245
原创 spark streaming 实时流处理实战笔记五
4-1 课程目录 分布式消息队列kafka kafka概述 和消息系统类似 消息中间件：生产者和消费者 妈妈：生产者 你：消费者 馒头：数据流 正常情况下：生产一个，消费一个 其他情况：一直生产，你吃到某一个馒头时，你卡住了（机器故障），馒头就丢失了 一直生产，做馒头速度快，你吃来不及，馒头也就丢失了 拿个碗/篮子，馒头做好后先放到篮子里，你要吃的时候去篮子里面取出来吃 篮子/框：kafka ...
2019-05-01 15:35:08
132
原创 spark streaming 实时流处理实战笔记五
单节点Kafka部署 zookeeper安装 Zookeeper启动：zkServer.sh start Kafka单节点broker的部署及使用 安装zookeeper和Scala 配置到系统环境变量中 Kafka配置文件 server.properties broker.id=0 Listeners：9092 host.name log.dirs zookeeper.connec...
2019-05-01 10:38:23
111
原创 spark streaming实时流处理笔记四
Flume项目实战3 需求：将A服务器上的日志实时采集到B服务器 技术选型： exec source + memory channel +avro sink Avro source + memory channel + logger sink exec-memory-avro.conf Name the components on this agent exec-memory-avro.sourc...
2019-04-28 14:09:33
125
原创 实时流处理笔记三
Flume案例实战二 需求：监控一个文件实时采集新增的数据输出到控制台 [hadoop000@hadoop000 data]$ touch data.log [hadoop000@hadoop000 data]$ cat data.log [hadoop000@hadoop000 data]$ pwd /home/hadoop000/data 创建 exec-memory-logger.conf...
2019-04-28 12:32:30
89
转载 centos6.4 下 jps command not found 解决
天在linux下查看进程，使用命令jps，可是却提示找不到命令，这条命令是在jdk下的bin目录下的一个可执行文件，我查看了一下我的jdk目录，发现有jps可执行文件，但是只是没有放在环境变量里面而已，环境变量可以通过etho PATH命令查看。所以就要自己加上去，以root身份vi/etc/profile，然后在下面加一行exportPATH="usr/java/jdk1600...
2019-04-27 23:30:02
486
原创 实时流处理笔记二
分布式日志收集框架Flume 3-2业务现状分析 3-3Flume概述 Flume官网：http://flume.apache.org/ Flume is a distributed, reliable, and available service for efficiently collecting（收集）, aggregating（聚合）, and moving（移动） large amoun...
2019-04-27 23:18:36
106
原创 实时流处理项目笔记一
修改配置文件需要root权限， sudo command 只有一个地方需要修改 /etc/hosts 192.168.15.129 hadoop000 192.168.15.129 localhost hadoop生态系统：cdh5.7.0 下载地址http://archive.cloudera.com/cdh5/cdh/5/ jdk：1.8 spark：2.2 scala：2.11.8 spar...
2019-04-27 19:38:22
225
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人