数据之路

转载 深度分析Java的ClassLoader机制（源码级别）

深度分析Java的ClassLoader机制（源码级别）2015-04-18 分类：Java 阅读(972) 评论(0) 写在前面：Java中的所有类，必须被装载到jvm中才能运行，这个装载工作是由jvm中的类装载器完成的，类装载器所做的工作实质是把类文件从硬盘读取到内存中，JVM在加载类的时候，都是通过ClassLoader的loadClass（）方法来加载class的，

原创 忘记mysq rootl密码后解决办法

如果mysql正在运行，kill掉： killall -TERM mysqld启动mysql(无需输入密码)：bin/safe_mysqld –skip-grant-tables &然后>use mysql>update user set password=password(”new_pass”) where user=”root”;>flush privileges;

原创 ambari server内存溢出

java.lang.OutOfMemoryError: PermGen spaceat java.lang.ClassLoader.defineClass1(Native Method)at java.lang.ClassLoader.defineClass(ClassLoader.java:800)at java.security.SecureClassLoader.defineCl

转载 HDFS集中化缓存管理

问题导读1.HDFS集中化缓存管理具有哪些优势？2.HDFS中的集中化缓存管理有哪些使用场景？3.缓存管理有哪些命令？概述HDFS中的集中化缓存管理是一个明确的缓存机制，它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需快数据的所有DataNode通信，并指导他们把块数据缓存在off-heap缓存中。HDF

原创 hive Illegal Operation state transition from CLOSED to ERROR的处理

异常堆栈如下：2015-11-24 16:49:11,495 ERROR org.apache.hive.service.cli.operation.Operation: Error running hive query:org.apache.hive.service.cli.HiveSQLException: Illegal Operation state transition from

原创 数据仓库3级范式(3NF)基础

一、引言　　最近在整理理大数据模式下的数据仓库数据模型，资料来自互联网和读过的数据仓库理论和实践相关。二、3NF（1）1NF-无重复的列　　数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。　　如果出现重复的属性，就可能需要定义一个新的实体，新的实体由重复的属性构成，新实体与原实体之间为一对多关系。在第一范式（1

转载 TCP之close_wait

TCP之close_wait浏览:3697次  出处信息/* * @author: ahuaxuan * @date: 2010-4-30 */ 最近遇到的一个关于socket.close的问题,在某个应用服务器出现的状况(执行netstat -np | grep tcp): tcp        0      0 10.224.122.16:50158

原创 authentication vs authorization 验证与授权的区别

在看ldap的时候发现了两个关键词， authentication验证 和 authorization授权authentification验证 - 是指验证who you are(你是谁), 所以需要用到username和password进行身份验证。authorization授权 - 是指what can you do(你可以做什么), 而且这个发生在验证通过后。对一些文档的

原创 停止ambari上服务的顺序

Before performing any upgrades or uninstalling software, stop all of the Hadoop services in the following order:RangerKnoxOozieWebHCatHiveServer2Hive MetastoreHBase

转载 CentOS 6.4安装配置ldap

CentOS 6.5安装配置ldap时间:2015-07-14 00:54来源:blog.51cto.com 作者:“ly36843运维” 博客 举报 点击:274次一.安装ldap[root@dev ~]# yum install openldap openldap-* -y[root@dev ~]# yum install

转载 hive 动态分区(Dynamic Partition)异常处理

Changing Hive Dynamic Partition LimitsSymptoms:Hive enforces limits on the number of dynamic partitions that it creates.  The default is 100 dynamic partitions per node, with a total (default)

转载 数据库事务隔离级别

一,事务的4个基本特征 Atomic（原子性）： 事务中包含的操作被看做一个逻辑单元，这个逻辑单元中的操作要 么全部成功，要么全部失败。 Consistency（一致性）： 只有合法的数据可以被写入数据库，否则事务应该将其回滚到最初 状态。 Isolation（隔离性）： 事务允许多个用户对同一个数据进行并发访问，而不破坏数据的正 确性和完整性。

原创 凯立德如何获取设备特征码、版本号、激活码?

如何获取设备特征码、版本号、激活码？方式一第一步：打开凯立德移动导航系统，进入地图界面，点击“查找”第二步：在查找页面以“快拼”的输入方式下，输入“AAAAAA”（6个A）

转载 CRM系统主要业务流程思维导图

【CRM五策略】          ❶对客户进行分类，不是根据规模，而是根据和你的关系，越细腻越好；          ❷不定期更新客户资料，信息越全面越好；          ❸主动对客户进行关怀，拿出你的诚意和关爱；          ❹定期与客户面对面沟通，这是投入的表现，沟通效果也最佳；          ❺定期给客户分享有营养的价值信息

转载 生产服务器环境最小化安装后Centos 6.5优化配置备忘

生产服务器环境最小化安装后 Centos 6.5优化配置备忘August 13, 2014本文 centos 6.5 优化 的项有18处,列表如下:1、centos6.5最小化安装后启动网卡2、ifconfig查询IP进行SSH链接3、更新系统源并且升级系统4、系统时间更新和设定定时任5、修改ip地址、网关、主机名、DNS6、关闭selinux，清空ipta

原创 java实现极简的LRU算法

import java.util.LinkedHashMap;import java.util.Map; /** * LRU (Least Recently Used)  */public class LRUCache extends LinkedHashMap {    /*** */private static final long serialVers

原创 kafka.common.ConsumerRebalanceFailedException异常解决

kafka.common.ConsumerRebalanceFailedException :test-group_xxx can't rebalance after 4 retries解决办法：1.配置zk问题(kafka的consumer配置)zookeeper.session.timeout.ms=5000zookeeper.connection.

转载 美团数据仓库的演进

数据仓库

原创 linux 下查看网卡工作速率

[root@hadoop058 ~]# mii-tooleth0: negotiated 100baseTx-FD, link ok 100Mlinux 下查看网卡工作速率Ethtool是用于查询及设置网卡参数的命令。概要：ethtool ethX //查询ethX网口基本设置ethtool –h //显示ethtool的命令帮助(help)ethtool

原创 centos关闭ipv6

1.使用lsmod查看ipv6的模块是否被加载。lsmod | grep ipv6[root@dmhadoop011 ~]# lsmod | grep ipv6ipv6                  317340  127 bonding如果加载了，则进行如下操作：2.修改/etc/sysconfig/network，追加：NETWORKING_IPV6

原创 sysctl -P net.bridge.bridge-nf-call-ip6tables报错解决办法

net.bridge.bridge-nf-call-ip6tables

原创 hive对有特殊值null的数据倾斜处理

hive对有特殊值null的数据倾斜处理

原创 hive连接数

使用hive分析日志作业很多的时候，需要修改mysql的默认连接数修改方法   打开/etc/my.cnf文件在[mysqld]  中添加 max_connections=1000重启mysql服务  service mysqld restartmysql>show variables like '%max_connections%';查

原创 mysql修改表、字段、库的字符集

mysql修改表、字段、库的字符集02 五月 2011 | 数据库 | Tags: charset, mysql,字符集修改数据库字符集：ALTER DATABASE db_name DEFAULT CHARACTER SET character_name [COLLATE ...];把表默认的字符集和所有字符列（CHAR

原创 mysql 存在update不存在insert

如果在INSERT语句末尾指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则在出现重复值的行执行UPDATE；如果不会导致唯一值列重复的问题，则插入新行。例如，如果列 a 为 主键 或 拥有UNIQUE索引，并且包含值1，则以下两个语句具有相同的效果：INSERT INTO test(a,c

转载 Linux下清理内存和Cache方法

频繁的文件访问会导致系统的Cache使用量大增　　$ free -m　　total used free shared buffers cached　　Mem: 3955 3926 28 0 55 3459　　-/+ buffers/cache: 411 3544　　Swap: 5726 0 5726　　free内存减少到几十兆，系统运行缓慢　　运行sync将di

转载 高效工作指南

Facebook 内部分享：不论你如何富有，你都赚不到更多的时间，你也回不到过去。没有那么多的假如，只有指针滴答的时光飞逝和你应该好好把握的现在，以下25张PPT的分享将为您带来时间价值管理的技巧。1、时间常有，时间优先2、时间总会有的：每天只计划 4～5 小时真正的工作3、当你在状态时，就多干点；不然就好好休息：有时候会连着几天不是工作状态，有

转载 java中byte转换int时为何与0xff进行与运算

本文总结了java中byte转换int时总是与0xff进行与运算的原因。在剖析该问题前请看如下代码：public static String bytes2HexString(byte[] b) { String ret = ""; for (int i = 0; i  String hex = Integer.toHexString(b[ i ] & 0xFF);

转载 DSP投放进阶指南

原创 cloudera manager配置

cloudera manager的数据库配置文件位置：    /etc/cloudera-scm-server/db.properties

原创 cloudera manager 5.3完整卸载脚本

service cloudera-scm-agent stopservice cloudera-scm-agent stopumount /var/run/cloudera-scm-agent/processumount /var/run/cloudera-scm-agent/processumount /var/run/cloudera-scm-agent/process

原创 异常message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore

NoSuchObjectException(message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore_df61080e04cd7eb36c4336f71b5a8bc4) at org.apache.hadoop.hive.metastore.ObjectStore

原创 Connection reset by peer的常见原因

Connection reset by peer的常见原因： 1）服务器的并发连接数超过了其承载量，服务器会将其中一些连接关闭；   如果知道实际连接服务器的并发客户数没有超过服务器的承载量，则有可能是中了病毒或者木马，引起网络流量异常。可以使用netstat -an查看网络连接情况。 2）客户关掉了浏览器，而服务器还在给客户端发送数据；3）浏览器端按了Stop；    这两种

转载 JVM致命错误日志(hs_err_pid.log)分析

JVM致命错误日志(hs_err_pid.log)分析发表于5天前(2015-08-28 17:10)   目录[-]日志头文件导致crash的线程信息所有线程信息安全点和锁信息堆信息本地代码缓存编译事件gc相关记录jvm内存映射jvm启动参数服务器信息当jvm出现致命错误时，会生成一个错误文件 hs_err_pid.log，其中包括了导致jvm crash的重

原创 java远程调试

服务端需在vm arguments一栏下加上    -agentlib:jdwp=transport=dt_socket,server=y,address=8000并以run模式启动如果以debug模式启动服务端，将会报ERROR: Cannot load this JVM TI agent twice, check your java command line for dup

转载 网站防刷方案

目录[-]网站防刷方案网站重复请求解决方案Mr. Neo Chen (netkiller), 陈景峰(BG7NYT)1. 访问网站所涉及环节2. 浏览器款控制方案3. CDN 与 反向代理4. 网络设备控制方法5. 服务器上做控制5.1. 操作系统部分提示5.2. WEB 服务器部分6. 通过程序控制访问行为提示7. 总结网站防刷方案 网站重复请求解决方

原创 mapreduce出现大量task被KILLED_UNCLEAN的3个原因

Request received to kill task 'attempt_201411191723_2827635_r_000009_0' by user-------Task has been KILLED_UNCLEAN by the user1.An impatient user (armed with "mapred job -kill-task" command)

转载 基于大数据的精准营销与应用场景

基于大数据的精准营销与应用场景2015年08月11日大数据大数据营销时代来临营销学领域过去半个多世纪的发展让我们见证了从“以产品为中心”到“以客户为中心”的转变。随着近年来互联网、移动互联网、新社交媒体的发展，信息过载，数据爆炸、消费者个性化需求的凸显，消费者成为商业行为的主宰者；另一方面，大数据分布式存储、大数据分析及挖掘技术的发展

转载 Math.abs为Integer.Min_VALUE返回错误的值

Math.abs为Integer.Min_VALUE返回错误的值 这段代码：System.out.println(Math.abs(Integer.MIN_VALUE));回报-2147483648这难道不应该返回绝对值2147483648？----------------------------------------------------------------

原创 使用http_load网站压力测试

http_load用以测试web服务器的吞吐量与负载。但是它不同于大多数压力测试工具，它可以以一个单一的进程运行，一般不会把客户机搞死。它可以自定义URL列表下载：http://acme.com/software/http_load/安装：解压后只要 make , make install 就行了环境： 需要gcc  如果是在服务器上安装的话还需要有sudo执行命令：.