花名:白起

科技改变世界,技术改变人生。

MySQL内容乱码及编码问题处理

查看mysql实例编码 show variables like 'character%'; 设置mysql实例编码 set character_set_database=utf8; [root@server1 ~]# cat /etc/my.cnf [client] socket=/var/...

2016-09-30 15:27:47

阅读数:231

评论数:0

使用hadoop streaming进行用户流量分析

本文是用python语言并使用hadoop中的streaming来对用户数据进行分析,统计用户的手机号码、上行流量、下行流量、总流量的信息。 本案例适合hadoop初级人员学习。 一、待分析的数据源 文本文件内容,里面有非常多的用户浏览信息,包括用户手机号码,上网时间,机器序列号,访问的IP,...

2016-09-26 18:00:16

阅读数:440

评论数:0

让Hive简单的查询不启用Mapreduce而启用Fetch task本地运行

查询某个表的某一列,Hive默认是会启用MapReduce来完成这个任务,如下: hive> SELECT uid, number FROM test limit 9; Total MapReduce CPU Time Spent: 2 seconds 320 msec OK 1  ...

2016-09-23 14:00:16

阅读数:777

评论数:0

CDH5.5.1增加新主机

1.说明 CDH机器添加分三种方式 1) 页面向导添加(最好离线,不然会从官网下载安装包时间较长) 2) 软件包手动安装 3) 原始码手动安装(原始码安装需要自己指定管理目录) 这里分享第二种方式,软件包安装方法 2.安装部署 1) 主机名、ip等修改好,关闭防火墙,ssh免密码登录,CM...

2016-09-21 16:14:00

阅读数:3341

评论数:0

Hadoop Balancer运行速度优化

1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers 2.修改dfs.datano...

2016-09-14 15:50:21

阅读数:4747

评论数:0

Linux下更改mysql5.1 数据目录datadir的方法

linux下,MySQL默认的数据文档存储目录为/var/lib/mysql 假如要把MySQL目录移到/home/data下需要进行下面几步: 1、home目录下建立data目录 mkdir /home/data 2、把MySQL服务进程停掉: service mysqld stop 3、...

2016-09-14 10:36:55

阅读数:3984

评论数:0

hadoop2.0的datanode多存储硬盘设置数据副本存放策略

集群使用4块硬盘,目前集群中部分节点盘disk1使用率已经超90%,后期可能会出现问题。 在hadoop2.0中,datanode数据副本存放磁盘选择策略有两种方式: 第一种是沿用hadoop1.0的磁盘目录轮询方式,实现类:RoundRobinVolumeChoosingPolicy.java ...

2016-09-13 14:48:18

阅读数:2016

评论数:0

升级ambari、HDP版本(ambari 2.1升级到2.4、HDP2.3升级到2.5)

官方升级版本说明 http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/bk_ambari-installation/content/determine_stack_compatibility.html 官方升级步骤 http://doc...

2016-09-07 17:14:37

阅读数:7605

评论数:5

linux下mysql的root密码忘记解决方法

1.首先确认服务器出于安全的状态,也就是没有人能够任意地连接MySQL数据库。因为在重新设置MySQL的root密码的期间,MySQL数据库完全出于没有密码保护的状态下,其他的用户也可以任意地登录和修改MySQL的信息。 2.修改MySQL的登录设置: # vi /etc/my.cnf ...

2016-09-07 10:35:19

阅读数:363

评论数:0

kafka数据同步/镜像工具 kafka mirror maker

默认安装kafka后有个Kafka MirrorMaker服务,无法启动。 2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker 2016-08-05 15:20:50,356 ERRO...

2016-09-05 15:52:46

阅读数:1342

评论数:0

CDH集成kafka方法实践

(本文以KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel和CDH5.5.1版本截图,最后出现兼容问题,将KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel换为KAFKA-0.8.2.0-1.kafka1.4.0.p0.56-el6.parcel就正常,请大...

2016-09-05 14:32:28

阅读数:5952

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭