ADX,DSP,SSP广告系统搭建 本人长期从事广告平台的建设，可以针对公司业务设计包括广告大数据平台底层搭建、广告引擎的搭建、后端代码部署、前端页面部署。针对公司成本预算做多种解决方案，提供一站式解决方案，欢迎想搭建自己广告平台的大佬咨询。加我qq：1594007516...
大数据学习,Scala编程语言，scala视频学习 此篇文章的目的是帮助想从事大数据工作方向的没有编程基础的人员，或者有一定的java编程基础的人员。为什么使用scala作为大数据编程语言？1，首先scala是一门优雅的编程语言，何为优雅形象的说就是api更加人性化，不需要像java一样要写大量的代码。2，对于从事java语言开发的同学简单易学，而且java，scala都是基于java虚拟机的，并且api可以互相调用非常方便。3，目...
hadoop集群遇到的奇怪问题 安装Hadoop-2.8.0集群问题整理原因：主机名与ip映射出现问题，导致其它节点找不到namenode。主机名不能带有下划线。 问题描述：使用start-all.sh启动后，使用jps查看没有namenode进程。其它节点也没有datenode进程。Log中报错（namenode）java.lang.IllegalArgumentException:
搭建zookeeper集群遇到的问题整理 1，如果使用的是公网Ip在配置好以后会报错，应该使用内网IP。2，http://blog.csdn.net/weiyongle1996/article/details/73733228
kafka连接问题 问题描述：ERROR Error when sending message to topic helloworld with key: null, value: 3 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)org.apache.kafka.common.errors.
redis在linux系统下客户端命令 keys *取出当前匹配的所有key> exists larry(integer) 0当前的key是否存在del lv删除当前keyexpire设置过期时间> expire larry 10(integer) 1> move larry ad4(integer) 1移动larry键值对到ad4数据库> pers
JVM调优总结 堆大小设置[plain] view plain copy java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -Xmx3550m：设置JVM最大可用内存为3550M。-Xms3550m：设置JVM初始内存为3550m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配
虚拟机性能监控和故障处理工具 给系统定位问题，知识、经验是关键基础，数据时依据，工具是运用知识处理数据的手段。数据：运行日志 异常堆栈 GC日志 线程快照（threaddump/javacore文件） 堆转储快照（heapdump/hprof文件）一 JDK命令行工具1 jps 虚拟机进程状况工具常用的几个参数：-l 输出jav
JVM垃圾收集算法及垃圾收集器 根搜索算法 （收集垃圾）根搜索算法是从离散数学中的图论引入的，程序把所有的引用关系看作一张图，从一个节点GC ROOT开始，寻找对应的引用节点，找到这个节点以后，继续寻找这个节点的引用节点，当所有的引用节点寻找完毕之后，剩余的节点则被认为是没有被引用到的节点，即无用的节点。目前java中可作为GC Root的对象有1、 虚拟机栈中引用的对象（本地变量表
ETL 为提高数据仓库数据质量，需要在ETL过程进行数据清洗。本文首先提出了ETL过程进行数据清洗应解决的问题，然后通过分析现有的ETL处理方式说明应采用数据库中的ETL处理，介绍了数据质量和数据清洗的原理并提出了数据清洗在ETL中的应用模型，最后通过实例说明数据清洗的具体实现。 1 前言ETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。
Scala知识点整理 scala是一门多范式编程语言（面向对象，函数式编程）1，scala中定义一个类不用提供对外的set，get方法。2，伴生对象：一定是object+类名。且在同一文件中。特点：可以访问类中被private修饰的属性和方法。private[this]， 加上this后，伴生对象也不能使用。3，类的私有private属性可以在类内部或者伴生对象中使用。4，伴生对象的作用：（它是静态的
scalikeJDBC ScalikeJDBC基于SQL的简介DB访问1. 什么是ScalikeJDBCScalikeJDBC是一款给Scala开发者使用的简洁DB访问类库，它是基于SQL的，使用者只需要关注SQL逻辑的编写，所有的数据库操作都交给ScalikeJDBC。这个类库内置包含了JDBC API，并且给用户提供了简单易用并且非常灵活的API。并且，QueryDSL(通用查询查询框架)使你的代码类型安全
HIVE 1.11 什么是HIVEHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能1.12为什么使用HIVE01 直接使用hadoop所面临的问题 人员学习成本太高项目周期要求太短MapReduce实现复杂查询逻辑开发难度太大 02 为什么要使用Hive 操作接口采用类SQL语法，提供快速开发的能力。
zookeeper在kafka中的作用 简介Kafka使用zookeeper作为其分布式协调框架，很好的将消息生产、消息存储、消息消费的过程结合在一起。同时借助zookeeper，kafka能够生产者、消费者和broker在内的所以组件在无状态的情况下，建立起生产者和消费者的订阅关系，并实现生产者与消费者的负载均衡。 从拓扑结构看kafka与zookeeper的关系： 如上图所示，在典型的Kafka集群中, Kafk
Hadoop中的zookeeper 一，zookeeper的作用1，替用户管理小体量的数据。（比如：帮助Hbase管理顶级索引信息）2，替用户监听指定的数据（当数据发生变化时，用户会得到通知。比如：在典型的Kafka集群中, Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consum
关注
