_BD攻城师_-CSDN博客

转载 Kylin基本原理

一、Kylin介绍 1.1 现状 Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战，辟如我们面临的一些质疑：Hadoop老矣，尚能饭否？其中也出现过各种各样的框架来协助Hadoop降低访问数据的延迟，比如列存储框架（Columnar Stor...

2018-04-18 09:39:53 507

转载 spark streaming driver内存泄露

症状spark streaming driver内存一直增长，直到小心脏受不了，凝固在那里不死但是动不了内存爆满。块丢失环境amabri hdp 2.3spark 1.4.1hadoop/yarn 2.7yarn-client模式，两个excutor分析分析streaming日志： WARN TaskSetManager: Lost task 3.1 in st...

2018-04-10 11:20:59 2851

转载 Kafka如何保证at-least-once

kafka最初是被LinkedIn设计用来处理log的分布式消息系统，因此它的着眼点不在数据的安全性（log偶尔丢几条无所谓），换句话说kafka并不能完全保证数据不丢失。尽管kafka官网声称能够保证at-least-once，但如果consumer进程数小于partition_num，这个结论不一定成立。考虑这样一个case，partiton_num=2，启动一个consumer进程订...

2018-04-10 10:09:50 7344 1

转载 Spark性能调优-Shuffle调优[转]

• Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零拷贝），所以使用了堆外内存。• shuffle过程中常出现的问题常见问题一：reduce oom? 问题原因： reduce task 去map端获取数据，reduce一边拉取数据一边聚合，reduce端有一块聚合内存（executor memor

2017-12-10 09:55:31 351

转载 Java命令学习系列（5）：Jhat（分析java堆）（转）

jhat(Java Heap Analysis Tool),是一个用来分析java的堆情况的命令。之前的文章讲到过，使用jmap可以生成Java堆的Dump文件。生成dump文件之后就可以用jhat命令，将dump文件转成html的形式，然后通过http访问可以查看堆情况。jhat命令解析会Java堆dump并启动一个web服务器，然后就可以在浏览器中查看堆的dump文件了。实例一、导出d

2017-11-08 16:59:50 534

转载 ElasticSearch的JVM浅谈（转）

JVM对ElasticSearch集群的稳定性有很大的影响。Java是一个垃圾收集语言，意思是这个程序不会手动管理分配和释放内存。程序员只需要编写代码，jvm管理根据需要管理分配内存的处理，然后在不需要的时候清理。Young (or Eden) 当新实例一个对象的时候分配的空间，新生代的空间一般比较小，通常是100MB-500MB，新生代也包含了2个幸存(survivor)空间。Old 存储较老

2017-07-29 15:33:12 4455

转载 ElasticSearch优化的一些方法些方法

多线程程序插入，可以根据服务器情况开启多个线程index 速度可以提高n倍, n>=2 如果有多台机器，可以以每台设置n个shards的方式，根据业务情况，可以考虑取消replias curl -XPUT ‘http://10.1..:9200/dw-search/’ -d ‘{ “settings” : { “number_of_shards” : 20, “

2017-07-29 14:28:43 736

转载 Mysql索引命令

1.PRIMARY KEY（主键索引） mysql>ALTER TABLE table_name ADD PRIMARY KEY ( column ) 2.UNIQUE(唯一索引) mysql>ALTER TABLE table_name ADD UNIQUE ( column ) 3.INDEX(普通索引) mysql>ALTER TABL

2017-07-28 09:36:42 313

转载 Linux权限修改

可以使用chmod命令，为改文件提供其他的权限。u表示用户、a表示全部、g表示组，r表示可读、w表示可写、x表示可执行，你可以使用“chmod a+w test.c”来添加权限，这是比较方便的直观的方法。还可以像之前的人回答的一样使用数字，你可以自己查一查chmod就行了。

2017-05-10 15:59:20 353

原创用栅栏（CyclicBarrier）实现高并发测试

public class TestCyclic { @Test public void test01() { int count = 10000;//并发线程数 CyclicBarrier cyclicBarrier = new CyclicBarrier(count); ExecutorService executorService

2017-05-01 22:56:58 2298

转载数据库三范式总结

第一范式（1NF)所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现重复的属性，就可能需要定义一个新的实体，新的实体由重复的属性构成，新实体与原实体之间为一对多关系。在第一范式（1NF）中表的每一行只包含一个实例的信息。在任何一个关系数据库中，第一范式（1NF）是对关系模式的基本要求，不满足第一范

2017-04-21 13:00:41 691

原创 ZooKeeper集群管理

ZooKeeper应用场景 1.数据订阅和发布实现思路：发布方注册一个节点/data 订阅节点监听这个/data 节点只有节点发生变化，证明有新的数据产生，从而去获取数据注意：不要在zookeeper上存储大量数据 2.分布式的协调通知（屏障）实现思路：注册一个节点/score 每个节点干完活之后，注册自己的子节点排名节点判断数量是否满足，如果满足，开始排名工作

2017-04-18 00:57:20 670

原创 Java并发工具包- java.util.concurrent

（队列）阻塞队列 BlockingQueue 一个线程往里边放，另外一个线程从里边取的一个 BlockingQueue BlockingQueue是一个接口常用实现类为： *ArrayBlockingQueue：内存连续，查询快 *LinkedBlockingQueue：内存不连续，添加方便实现类的各种操作: 操作原则:FIFO先进先出初始化ArrayBlockingQueue:

2017-04-17 21:35:15 441

原创 SpringAOP实现读写分离

使用SpringAOP动态切换数据源。在调用service方法之前，使用AOP进行判断，是使用读库还是使用写库。根据要执行的方法名调用不同的数据库，例如使用query、find、get等开头的方法就访问读库，其他的访问写库。 1.org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource 定义动态数据源

2017-04-15 13:04:33 460

原创 Mysql主从复制

1.配置主服务器编辑主master服务器配置文件/etc/my.cnf 在[mysqld]节点下加入两句话 server-id=1 log-bin=mysql-bin #启用二进制日志；重启服务：service mysql restart 登录mysql：mysql –uroot -proot mysql>flus

2017-04-15 12:20:30 420

原创 Spring框架总结：

IOC（控制反转）和DI（依赖注入），这是spring的基石，Spring有了这两个机制可以帮我们省去对象的创建，销毁，初始化等工作。 SpringIOC创建对象有三种方式：采用默认的构造函数（上面的例子就是采用默认的构造函数方式，所以如果去掉默认构造方法，那么就会报错）采用静态工厂方法采用对象工厂一个spring配置文件import另一个spring配置文件的情况：

2017-04-12 15:34:07 973

原创 Mybatis使用总结：

（具体关键字不懂得去度娘，给我留言也可以） Mybatis是一个优秀企业级的并且适合数据吞吐量大的，有着灵活轻巧的结构，简单的编写过程，低成本学习的持久层框架。好处那么多，就先说说搭建的过程。简要搭建过程（不分先后）： 1、数据源交给Applicationcontext配置文件（spring核心配置文件）去获取，数据库参数信息从properties文件中获得，使数据库迁移变得轻松，解

2017-04-12 01:52:26 430

转载浅谈MySQL中优化sql语句查询常用的30种方法

.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以

2017-04-11 11:37:06 338

原创 Spring框架的应用①

一、Spring是什么？ ◆目的：解决企业应用开发的复杂性　　 ◆功能：使用基本的JavaBean代替EJB，并提供了更多的企业应用功能　　 ◆范围：任何Java应用　　简单来说，Spring是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架◆轻量——从大小与开销两方面而言Spring都是轻量的。完整的Spring框架可以在一个大小只有1MB多的JAR文件里发布。并且Sp

2017-04-08 10:44:51 541

_BD攻城师_的博客