- 博客(50)
- 收藏
- 关注
RSS订阅原创 sparkstreaming向mysql写数据
注意最后为什么使用了 rdd 的foreachPartition()package day5.KafkaSourceimport java.sql.{Connection, PreparedStatement}import kafka.serializer.StringDecoderimport org.apache.kafka.clients.consumer.Consum...
2019-04-12 15:55:22
433
原创 二分查找实现
package com.atguigu.sort/** * @author wade * @create 2019-04-08 20:26 */object MyBinarySearch { def main(args: Array[String]): Unit = { //数组必须是有序的 val arr = Array(1,5,78,10...
2019-04-08 20:47:41
194
原创 归并排序
package com.atguigu.sortimport com.atguigu.sort.InsertSorrt.insertSortimport scala.util.Random/** * @author wade * @create 2019-04-08 17:54 */object MergeSort { def main(args: Array[...
2019-04-08 19:11:57
145
原创 快速排序
package com.atguigu.sortimport scala.util.Randomimport scala.util.control.Breaks/** * @author wade * @create 2019-04-07 23:41 */object QuickSort { def main(args: Array[String]): Uni...
2019-04-08 19:10:49
99
原创 插入排序
package com.atguigu.sortimport com.atguigu.sort.SelectSort.selectSortimport scala.util.Random/** * @author wade * @create 2019-04-07 23:09 */object InsertSorrt { def main(args: Array...
2019-04-08 18:50:25
128
原创 选择排序
package com.atguigu.sortimport com.atguigu.sort.BubbleSore.bubbleSortimport scala.util.Random/** * @author wade * @create 2019-04-07 22:45 */object SelectSort { def main(args: Array[...
2019-04-08 18:49:42
106
原创 冒泡排序
package com.atguigu.sortimport scala.util.Random/** * @author wade * @create 2019-04-07 22:15 */object BubbleSore { def main(args: Array[String]): Unit = { val arr = new Array[Int]...
2019-04-08 18:48:55
81
原创 kafka监控
1）在/opt/module/下创建kafka-offset-console文件夹[atguigu@hadoop102 module]$ mkdir kafka-offset-console2）上传KafkaOffsetMonitor-assembly-0.2.0.jar到kafka-offset-console目录下3）创建启动脚本[atguigu@hadoop102 kafka...
2019-03-29 18:23:01
131
原创 稀疏数组
-----原棋盘------0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0...
2019-03-28 22:13:42
158
原创 几种kafka多线程消费方式
kafka API https://kafka.apache.org/0100/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html知乎关于多线程的回答https://www.zhihu.com/question/57483708/answer/1531858291、高级新api消费者，一个线程一...
2019-03-28 13:17:45
7449
1
原创 数仓项目kafka-hdfs
## 组件a1.sources=r1 r2a1.channels=c1 c2a1.sinks=k1 k2## source1a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSourcea1.sources.r1.batchSize = 5000a1.sources.r1.batchDurationMillis = 2...
2019-03-28 09:08:08
503
原创 关于通过ssh后台脚本启动几台主机的flume
脚本1#!/bin/bashcase $1 in"start"){ for i in hadoop101 hadoop102 do echo "---------正在启动 $i 的flume---------------" ssh $i "nohup /opt/module/flume/bin/flume-ng agent -f /opt/module/flume/c...
2019-03-28 09:00:44
478
原创 memorychannel的配置文件说明
The events are stored in an in-memory queue with configurable max size. It’s ideal for flows that need higher throughput and are prepared to lose the staged data in the event of a agent failures. Req...
2019-03-28 08:47:08
536
原创 关于flume的拦截器
项目中我们需要对一个数据源读取到的数据，我们希望能够进到不同的channel，那么我们需要source的selectors和interceptors。选择器默认使用的是replcation ,是复制模式，进入每个channel的数据都一样，这里我们选用 multiplexing此项目拦截器我们使用了2个，一个ETL来过滤不合法数据，一个用来给数据添加头信息，头信息是一个k-v键值对，sel...
2019-03-28 08:32:05
318
转载 ssh详解
作者：小a玖拾柒出处：http://www.cnblogs.com/ftl1012/SSH(远程连接工具)连接原理：ssh服务是一个守护进程(demon)，系统后台监听客户端的连接，ssh服务端的进程名为sshd,负责实时监听客户端的请求(IP 22端口)，包括公共秘钥等交换等信息。ssh服务端由2部分组成： openssh(提供ssh服务) openssl(提...
2019-03-28 08:22:33
345
原创 hive练习
学生课程成绩use myhive;CREATE TABLE `course` ( `id` int, `sid` int , `course` string, `score` int ) ;// 插入数据// 字段解释：id, 学号， 课程， 成绩INSERT INTO `course` VALUES (1, 1, 'yuwen', 43);INSERT IN...
2019-03-25 20:21:38
222
原创 关于flume的filechannel的一些配置与理解
checkpointDir ~/.flume/file-channel/checkpoint The directory where checkpoint file will be stored 检查点的目录 useDualCheckpoints false Backup the checkpoint. If this is set totrue,back...
2019-03-23 20:36:50
3943
原创 项目服务器
tomcat分日志服务器 和业务服务器，我们项目用的这套，放在日志服务器可以。 我们这套项目，有专门生产日志的服务器，（业务服务器向日志服务器发送请求，日志服务器来生产），我们用flume来监控。 如果想直接在业务服务器里面，在web项目里面Controller里面直接写到kafka，那不行，服务器压力大，可以选择落盘...
2019-03-23 08:54:53
176
原创 hive sql练习
字段说明：** 用户名，月份，访问次数数据内容如下A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,2015-03,22B,2015-03,23B,2015...
2019-03-23 08:16:27
220
原创 SparkStreaming的ck
一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spark Streaming需要 Checkpoint 足够多信息至一个具有容错设计的存储系统才能让Driver 从失败中恢复。Spark Streaming 会 Checkpoint 两种类型的数据。Metadata（元数据...
2019-03-22 20:55:08
295
原创 关于sparkstream代码更改，造成从ck里面启动不了了
当Spark Streaming的代码修改后启动时(directStream的高级api,信息保存在ck中)，反序列化Checkpoint目录中的数据失败，所以Kafka offset会丢失，此时不知道从哪里消费Kafka的数据，所以我们要将Kafka offset保存到ZooKeeper中一份，当Spark Streaming优雅停止后，删除Checkpoint目录然后从ZooK...
2019-03-22 20:53:09
201
原创 优雅关闭ssc
当Spark工作在Client模式下时，由于Driver在作业提交机器上运行，Driver进程是可以看到的，可以用kill（不是kill -9）杀死Driver进程，此时，如果设置了优雅停止，就会调用钩子函数进行优雅地停止。当Spark工作在Cluster模式下时，Driver运行在集群的那一台机器上我们是无法确定的（YARN模式下由ResourceManager决定），因此无法用kill取杀...
2019-03-22 19:53:57
761
原创 日志项目在线分析每个城市的点击数
日志项目在线分析每个城市的点击数从kafka里面消费，由SparkStreaming来处理，存到hbase里面问题：table.incrementColumnValue 这里用了这个方法 可以指定列的值 自增如果对于这种问题，我也想用put来做呢1、使用updateStateByKey ,然后put到hbase，相同的列，版本保存最新的，但是局限性，它每次会把历史所有的...
2019-03-22 18:04:19
123
原创 日志写入hdfs过程中
生产中，我们日志 从 flume -》 kafka -》hdfs按天滚动，如果写入hdfs过程出现问题，程序终止，非正常退出。因为我们是用流向hdfs里面写的，非正常退出，流未关闭，没有字节大小。如果重启过快，再打开流会出问题(前一个流未关闭)解决问题：1、生产中产生的本地日志，也是按天的，可以先把出错的文件删掉，在第二天，手动导一下；...
2019-03-22 09:32:14
849
原创 把hdfs上面的文件定时导入到hive里面
创建分区表CREATE external TABLE ext_startup_logs(userId string,appPlatform string,appId string,startTimeInMs bigint,activeTimeInMs bigint,appVersion string,city string)PARTITIONED BY (y string, ...
2019-03-22 09:10:54
783
原创 离线处理阶段的一些问题
1、因为虚拟机上之前有0.11的kafka，在zk上存有信息，我们安装了0.8的kafka，需要先把zk上的数据清理掉，避免冲突2、hive的不支持json格式的存储具体操作步骤如下：1) 将json-serde-1.3.8-jar-with-dependencies.jar导入到hive的/opt/module/hive/lib路径下。2) 在/opt/module/hive/co...
2019-03-22 09:03:35
212
原创 离线处理sql
里面用了一些自定义的日期函数，使用起来更加方便当然hive也有一些日期函数from_unixtime(unix时间戳) 可以转换成日期时间，后面多参 可以加上格式unix_timestamp("2019-10-10 11:11:11") 可以转换成unix时间戳 后面多参 可以加上格式unix 时间戳是10位的 到秒 和13位的不一样 可以转换cast(1...
2019-03-22 08:50:39
376
原创 从kafka里面读取存到hdfs
方法一：自己写程序，从kafka里面消费，写到hdfs上面，但是注意idea工具maven kafka的依赖版本要和虚拟机里的kafka版本对上； <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11<...
2019-03-22 08:41:00
4386
1
原创 flume的配置和kafka
配置两个flume sink为kafkasink到flume官方文档(注意版本)a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.type = org.apache.flume.source.taildir.TaildirSourcea1.sources.r1.positionFile = /opt/mod...
2019-03-21 10:04:26
325
原创 关于kafka高级API(新)的多线程测试
public class MyTestThreads { public static void main(String[] args) { //因为KafkaConsumer不是线程安全的，使用一个对象会报异常 //ConcurrentModificationException: KafkaConsumer is not safe for ...
2019-03-20 13:30:37
236
原创 taildir Source
a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.type = TAILDIRa1.sources.r1.filegroups = f1 f2a1.sources.r1.filegroups.f1 = /home/atguigu/taildir/example.loga1.sources.r1.filegroups...
2019-03-19 20:17:18
434
转载 为什么不能有过多的列簇
我们知道，一张 HBase 表包含一个或多个列族。HBase 的官方文档中关于 HBase 表的列族的个数有两处描述：A typical schema has between 1 and 3 column families per table. HBase tables should not be designed to mimic RDBMS tables. 以及 HBase currently...
2019-03-19 19:32:51
408
原创 6、region的拆分，和预分区
一个region就是表一段RowKey的集合，当Region太大的时候Hbase会拆分它；因为某个Region太大的时候读取效率太低了。查询的本质是遍历key，当数据量太大的时候，遍历一遍的时间实在是太长了，为了提高效率，Hbase会拆分Region。自动拆分对于切分点是如何让定位呢region切分策略会触发region切分，切分开始之后的第一件事...
2019-03-19 19:11:22
999
原创 5、Hbase数据的增删改查
Hbase基于持久化HDFS要么是新增，要么是整个删除，不嫩修改的系统，那么是怎么做增删改查的呢，真是情况是，Hbase都是做新增操作。那么真正删除数据是发生在哪里？情况一： 数据写入到缓存里面，还没有flush到Hfile，那么flush到Hfile的时候数据就不会写出去，但是墓碑记录那一条数据还会在；在compact的时候会删除。情况二：如果数据已经flush到了Hfil...
2019-03-19 16:53:09
274
原创 4、数据合并
1）当数据文件达到一定个数，Hmaster触发合并操作，Region将数据块加载到本地，进行合并；hbase.hregion.majorcompaction=604800000(7天)hbase.hstore.compactionThreshold=32）当合并的数据超过一定的大小，进行拆分，将拆分后的Region分配给不同的HregionServer管理；3）同时将Hreg...
2019-03-19 16:23:17
161
原创 3、数据flush过程
Flush 操作是 Region 级别的，如果触发，是region一起刷，不是store刷自己的条件：1.（hbase.regionserver.global.memstore.size）默认;堆大小的40%regionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%,而且regionserver级别的flush会阻塞客户端读写...
2019-03-19 16:20:26
441
原创 2、Hbase写流程
1）Client向HregionServer发送写请求；2）HregionServer将数据写到HLog（write ahead log）。为了数据的持久化和恢复;3）HregionServer将数据写到内存（MemStore）;4）将WAL数据落盘（同步到HDFS）;5）如果在同步WAL到HDFS过程中发生异常，则MemStore中的数据会删除（rollBack）;...
2019-03-19 16:14:21
82
原创 1、Hbase读流程
1）Client先访问Zookeeper，读取meta表所在region的位置，然后读取meta表中的数据。meta中存储了用户表的region信息；2）根据namespace、表名和rowkey在meta表中找到对应的region信息；3）将region位置信息存储在客户端缓存中（cache）4）找到这个region对应的regionserver；5）查找对...
2019-03-19 16:03:10
220
原创 sparkstream和kafka的低级消费者(保存在ZK和Mysql两种)
写了两套方法，一套保存在zk上，一套保存在mysql里面/** * @author wade * @create 2019-03-14 9:16 */object LowerKafkaSource { def fromOffsets(kafkaCluster: KafkaCluster, groupId: String, topic: String): Map[T...
2019-03-18 20:51:01
239
原创 sparkstream和kafka的高级消费者
object HighKafkaSource2 { def main(args: Array[String]): Unit = { //这种方式每次都是new 的 // offset保存并没有起效果 //造成每次消费都是从最新的开始读 初始化找不到初始化的offset //默认使用的是最新的 可配置 val conf: SparkConf = n...
2019-03-18 20:47:31
367
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人