- 博客(20)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 修身十一学
每每读起十一学，思绪感慨难言以表。遂以镇楼，以常观之、思之、省之、自勉之。原文摘自：王明夫《三度修炼》气度篇修身十一学文/佚名万象未审凡几，约其范围，则“我、人、事、物”四纲。故世间学问，亦“修身、待人、接事、应物”四样。儒者首重修身，修身有成，称为内圣;次重“待人、接事、应物”，称为外用(外王)。修身有十一方面，分别是:性、情、见、念、习、智、验、知、言...
2019-12-12 21:03:48
478
转载 HBase 数据库检索性能优化策略
原文转发自：https://www.ibm.com/developerworks/cn/java/j-lo-HBase/HBase 数据表介绍HBase 数据库是一个基于分布式的、面向列的、主要用于非结构化数据存储用途的开源数据库。其设计思路来源于 Google 的非开源数据库”BigTable”。HDFS 为 HBase 提供底层存储支持，MapReduce 为其提供计算能力，Zoo...
2019-12-24 09:26:28
261
转载 HBase建立二级索引的一些解决方式
HBase的一级索引就是rowkey，我们仅仅能通过rowkey进行检索。假设我们相对hbase里面列族的列列进行一些组合查询。就须要採用HBase的二级索引方案来进行多条件的查询。常见的二级索引方案有下面几种：1.MapReduce方案2.ITHBASE方案3.IHBASE方案4.Coprocessor方案5.Solr+hbase方案MapReduce方案IndexBui...
2019-12-24 09:24:20
389
转载 ETL常用的三种工具介绍及对比Datastage，Informatica和Kettle
原文转发自：https://zhuanlan.zhihu.com/p/73102112ETL常用的三种工具介绍及对比Datastage，Informatica和KettleETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖...
2019-12-24 09:03:43
9115
转载 spark调优（四）：shuffle调优
转发学习自美团技术团队：https://tech.meituan.comshuffle调优调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源...
2019-12-17 20:56:34
133
转载 spark调优（三）：数据倾斜调优
转发学习自美团技术团队：https://tech.meituan.com前言 继spark调优（一）：开发调优、spark调优（二）：资源调优讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。1.数据倾斜调优调优概述 有的时候，...
2019-12-15 17:02:31
193
原创 jdbc事务演示代码
在此采用手动任务提交，模拟在多个原子事件之间产生异常时（在此模拟除0异常）的回滚操作，进而演示事务的ACID属性。import org.junit.Test;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;public class Trnsaction...
2019-12-15 11:09:12
205
原创 Druid连接池的 java工具类代码示例
代码示例功能：获取Druid连接池（使用配置文件按需配置），连接归还与相关数据展示，最后附一个简单测试代码。import com.alibaba.druid.pool.DruidDataSourceFactory;import javax.sql.DataSource;import java.io.FileNotFoundException;import java.io.IOExcept...
2019-12-15 11:03:20
570
原创 yum、rpm命令选项概览
YUM的常用命令1）基本语法：yum [选项] [参数]2）选项说明 选项 功能 -y 预先同意安装期间的所有交互操作，一步到位 3）参数说明 参数 功能 install 安装rpm软件包 ...
2019-12-14 19:26:40
139
原创 linux下常见VI操作命令整理
一般模式以vi打开一个档案就直接进入一般模式（默认）。在这个模式中， 使用『上下左右』按键来移动光标，使用『删除字符』或『删除整行』来处理文件内容， 也可以使用『复制、贴上』来处理你的文件数据。 按键 功能描述 yy 复制光标当前一行 y数字y 复制一段（从当前行复制n行...
2019-12-14 19:11:40
235
转载 spark调优（二）：资源调优
转发学习自美团技术团队：https://tech.meituan.com建议继续阅读之前先对这篇文章的内容有一定了解：Apache Spark 内存管理详解推荐阅读：spark调优（一）：开发调优资源调优概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置...
2019-12-13 20:01:12
206
转载 spark调优（一）：开发调优
转发学习自美团技术团队： https://tech.meituan.com文章总体概览优化开发原则：1、避免创建重复rdd2、尽可能复用rdd：避免重复计算3、合适的持久化策略：memory_only memory_only_ser memory_and_disk等4、尽量避免shuffle算子：如reduceByKey、join、disti...
2019-12-12 19:57:02
280
转载 分布式发布订阅消息系统 Kafka 架构设计（翻译自kafka.apache）
转发自oschina，感谢前辈们的翻译参与翻译 (4人) :fbm,木川瓦兹,K6F,nesteaa原文地址：https://www.oschina.net/translate/kafka-design端到端的批量压缩多数情况下系统的瓶颈是网络而不是CPU。 这一点对于需要将消息在个数据中心间进行传输的数据管道来说，尤其如此。当然，无需来自Kafka的支持，用户总是可以自行...
2019-12-12 10:58:00
222
原创 HQL求连续活跃用户并完成相关统计（基于等差数列原理）
需求有日志如下，写出代码求得所有用户和活跃用户的总数及平均年龄。（活跃用户指连续两天都有访问记录的用户）日期 用户 年龄dt string,user_id string,age int2019-02-11,test_1,232019-02-11,test_2,192019-02-11,test_3,392019-02-11,test_1,232019-02-11,test_3,3...
2019-12-11 21:28:23
940
原创 sparkStreaming状态编程简单示例(对比学习reduceByKeyAndWindow、updateStateByKey)
在此以消费kafka数据进行wordCount，对比reduceByKeyAndWindow、updateStateByKey两个api的使用。代码如下：kafkaConsumer，采用kafka0.10 direct Api。 def getKafkaConsumerStream(ssc:StreamingContext,group:String,topic:String) ={ ...
2019-12-11 19:17:09
419
原创 常用zookeeper客户端操作命令
启动客户端bin/zkCli.sh 命令基本语法 功能描述 help 显示所有操作命令 ls path [watch] 使用 ls 命令来查看当前znode中所包含的内容 ls2 path [watch] 查看当前节点数据并能看...
2019-12-11 10:03:14
198
转载 [Spark性能调优] 第一章：性能调优的本质、Spark资源使用原理和调优要点分析
转发学习大佬博客：https://www.cnblogs.com/jcchoiling/p/6440709.html本課主題大数据性能调优的本质 Spark 性能调优要点分析 Spark 资源使用原理流程 Spark 资源调优最佳实战 Spark 更高性能的算子引言我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让在进入...
2019-12-10 11:09:27
296
转载 java类的加载机制
转发学习大佬博客：https://www.cnblogs.com/ityouknow/p/5603287.htmljvm系列(一):java类的加载机制1、什么是类的加载类的加载指的是将类的.class文件中的二进制数据读入到内存中，将其放在运行时数据区的方法区内，然后在堆区创建一个java.lang.Class对象，用来封装类在方法区内的数据结构。类的加载的最终产品是位于堆区...
2019-12-09 20:50:11
110
转载 Flink 滑动窗口优化
转发自：https://www.infoq.cn/article/sIhs_qY6HCpMQNblTI9M一、前言Flink 的窗口功能非常强大，因为要支持各种各样的窗口，像滑动窗口和滚动窗口这样的对齐窗口，像会话窗口这样的非对齐窗口，复杂度也会比较高。其中在超长滑动窗口的性能上也不尽如人意。这篇文章首先会阐述为什么在超长滑动窗口下 Flink 的性能会降级的很严重，以及在有赞我们是如何解...
2019-12-03 22:10:25
2348
转载 flink超越Spark的Checkpoint机制
转发自：https://cloud.tencent.com/developer/article/1189624前面，已经有一篇文章讲解了spark的checkpoint同时，浪尖也在知识星球里发了源码解析的文章。spark streaming的Checkpoint仅仅是针对driver的故障恢复做了数据和元数据的Checkpoint。而本文要讲的flink的checkpoint机制要复杂了...
2019-12-03 22:08:33
1252
writerAndReader.rar
2020-06-20
贪食蛇(C、C++控制台彩色版)
2019-07-02
走迷宫问题栈实现.cpp
2019-07-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人