- 博客(17)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 《TCP/IP详解》笔记第一章 概述
TCP、IP协议分层Tcp/IP协议通常分为四层: 链路层，网络层，运输层，应用层1.链路层链路层也称为数据链路层，网络接口层，通常包括操作系统中的设备驱动程序和计算机中的网络接口卡。2.网络层处理分组在网络中的活动，分组的选路在TCP/IP中网络协议包括IP，ICMP，IGMP。3.运输层为不同主机上应用程序提供端到端的通信，传输协议有TCP和UDPTCP协议提供可靠的数据通信，...
2019-08-31 22:34:14
226
原创 Flume LoadBalanceSinkProcessor源码阅读记录
简介LoadBalanceSinkProcessor是flume实现负载均衡的重要方式，可有效的提高资源利用率，提升数据传输的速度。配置参数参数默认值描述type-load_balanceselectorround_robinround_robin或randombackofffalse若为true,失败的Sink将加入黑名单，时间以指数增长...
2019-08-31 17:34:35
133
原创 Flume FailedSinkProcessor源码解析
简介FailoverSinkProcessor是Sink组的处理器，其工作机制是通过优先级的方式选择Sink进行数据发送，最高级的Sink会持续写数据的优先权，直到其执行失败，被加入失败队列待经常最大失败回退时间恢复后重新执行。配置参数参数默认值描述type-failoverpriority-sink优先级maxpenalty30000(ms)失...
2019-08-31 15:46:48
175
原创 Hive数据类型
Hive基本数据类型Hive支持的基本数据类型有:TINKYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGTIMESTAMPHive集合数据类型STRUCTMAPARRAYHive数据类型转换hive执行隐形转换，比如查询一张表的某个字段SMALLINT类型的数据，插入另一张表的INT类型的字段，那么这个过程是可以隐式转换的...
2019-08-29 21:34:44
935
原创 flume Channel选择器
简介channel处理器用于决定source接收的时间写入哪个channel，由其通知channel，并将时间写入。选择器类型flume自带两种选择器:1.relicating(复制选择器）,默认使用2.multiplexing(多路复用选择器)1.复制选择器复制选择器会复制每个source接收的事件，将事件复制并分发到所有channel，可通过配置参数，控制分发的channel。...
2019-08-28 22:52:48
2527
原创 Hive权限管理
Hive权限管理Hive在0.7.0以后的添加了授权功能，权限类型名称描述ALL赋予所有权限ALTER修改表结构CREATE创建表权限DROP删除表或分区的权限INDEX创建索引LOCK并发后，锁定和解锁表的权限SELECT查询表或分区数据权限SHOW_DATABASE查看所有数据库的权限UPDATE给表或...
2019-08-27 21:37:11
311
原创 jquery模糊匹配
jquery.chosen.js查询时，chosen默认从第一个字符搜索，所以写中间的字符搜索时，是搜索不出来的若想实现中间字符的模糊查询，下面的js中（search_contains属性为true即可）可以让chosen搜索选项的中间及末尾字符no_results_text是搜索不到内容时，显示的提示语placeholder_text是下拉选项默认显示的文字disable_search_...
2019-08-27 14:15:16
303
原创 Intellij IDEA在线和离线安装scala插件
idea在线安装scala插件intellij IDEA本来是不能开发Scala程序的,但是通过配置是可以的：在线安装scala插件很简单，只需要在File-settings-Plugins，搜索scala点击安装就行。idea离线安装scala插件本次具体实现过程：在实际开发时，很多时候内网做开发的，因此也无法使用在线安装的方式，下面介绍离线安装的方法:1、scala的版本要和In...
2019-08-27 01:04:59
3521
原创 Echarts折线图x轴全部显示
简介在echarts中应用线状图时，当数据量过多的时候，X轴的坐标就会显示不全，因为ECharts图表组件内部有一个机制，用于统计xAxis坐标刻度的个数和图表宽度，从而会自动调整刻度间隔个数以此达到刻度相互之间不致于很拥挤而影响图表欣赏性。刻度间隔的相关属性就是：interval。interval默认为auto，自动隐藏显示不下的当值为0时，则全部显示还有一个属性：rotate: nu...
2019-08-27 00:38:13
16554
原创 SparkStreaming发送log4j日志到Flume配置
如果要将SparkStreaming产生的系统日志发送给Flume则要在log4j.properties中添加如下配置:log4j.rootLogger=INFO,flumelog4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppenderlog4j.appender.flume.Hostname=192.16...
2019-08-27 00:25:03
224
原创 Hive执行异常记录
Hive执行异常(1)执行报错如果是mr报错，那么就先看是否缺少了HADOOP_CONF_DIR并检查hadoop-mapreduce-client-core-2.6.0,及hadoop-mapreduce-client-common-2.6.0.jar是否正确添加若tez报错，查看是否在hive-site.xml中添加了hive-execution-engine，value为tez.并...
2019-08-27 00:12:26
263
原创 flume AvroSource和AvroSink使用
AvroSourceAvro Source是flume主要的RPC Source，能接收其他节点的Avro Sink或者用Flume SDK发来的数据,常与Avro Sink结合作为缓冲使用。关于Avro，这篇文章有作介绍，链接:Avro使用详解AvroSource配置参数配置参数默认值描述type-source类型bind-ip地址，0.0.0.0绑...
2019-08-25 13:46:08
1561
3
原创 Avro使用详解
Avro特点Avro支持二进制编码和JSON编码两种序列化方式。序列化方法为深度优先，从左到右遍历。Avro实现Avro依赖模式（scehma)实现，模式用JSON格式定义。其中类型分为：示例{ "namespace": "com.test.avro", "type":"record", "name":"Student", "fields":[ {"name":"name",...
2019-08-24 19:29:45
1640
原创 flume HttpSource使用
HttpSourcehttpsource允许是flume提供的能接收get和post的http请求，http请求会被HttpHandler接口实现类处理，从而将http请求转换为event从而提交到channel。http适用于一些无法通过部署SDK接收日志的场景，例如游戏客户端。HttpSource配置使用HttpSource基本配置参数配置参数默认值描述type...
2019-08-22 23:49:39
920
原创 Hive分桶使用
Hive分桶Hive中的每一个表，每一个分区都可以进行分桶，表或者分区实际上是以文件的形式在hdfs上存储，而分桶物理上相当于将一个文件分成几个文件进行存储，分桶用于大规模数据集。分桶的使用1.建表时设置分桶create table student_bucket(id INT, name STRING, age INT)clustered by (age) into 4 buckets...
2019-08-19 00:30:10
185
原创 Hive动态分区使用
Hive动态分区的使用动态分区可以即时给表添加分区，不用通过修改sql实现。允许在插入的时候指定分区，分区字段为插入时字段的位置决定。例如：FROM page_view_stg pvsINSERT OVERWRITE TABLE page_view PARTITION(dt='2008-06-08', country) SELECT pvs.viewTime, pvs.us...
2019-08-18 18:21:39
534
原创 Memory Channel源码阅读笔记
Memory Channel使用LinkedBlockingDeque实现,数据基于双向队列存储，可从从两端取出，插入。主要属性:LinkedBlockingDeque queue: 存放EventSemaphore queueStored : queue中已使用空间private volatile Integer transCapacity :一个事务中Event的最大数目Se...
2019-08-18 10:52:35
241
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人