- 博客(11)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 MySQL内容乱码及编码问题处理
查看mysql实例编码show variables like 'character%';设置mysql实例编码set character_set_database=utf8;[root@server1 ~]# cat /etc/my.cnf [client]socket=/var/lib/mysql/mysql.sockdefault-character-set
2016-09-30 15:27:47
372
原创 使用hadoop streaming进行用户流量分析
本文是用python语言并使用hadoop中的streaming来对用户数据进行分析，统计用户的手机号码、上行流量、下行流量、总流量的信息。本案例适合hadoop初级人员学习。一、待分析的数据源文本文件内容，里面有非常多的用户浏览信息，包括用户手机号码，上网时间，机器序列号，访问的IP，访问的网站，上行流量，下行流量，总流量等信息。(倒数第三列是上传流量，倒数第二列是下载流量，
2016-09-26 18:00:16
1126
原创 让Hive简单的查询不启用Mapreduce而启用Fetch task本地运行
查询某个表的某一列，Hive默认是会启用MapReduce来完成这个任务，如下：hive> SELECT uid, number FROM test limit 9;Total MapReduce CPU Time Spent: 2 seconds 320 msecOK1 122 153 214 225 2
2016-09-23 14:00:16
1123
原创 CDH5.5.1增加新主机
1.说明CDH机器添加分三种方式1) 页面向导添加（最好离线，不然会从官网下载安装包时间较长）2) 软件包手动安装3) 原始码手动安装（原始码安装需要自己指定管理目录）这里分享第二种方式，软件包安装方法2.安装部署1) 主机名、ip等修改好，关闭防火墙，ssh免密码登录,CM服务器配置下hosts文件解析新主机2) 首先到http://archi
2016-09-21 16:14:00
4354
原创 Hadoop Balancer运行速度优化
1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers2.修改dfs.datanode.balance.bandwidthPerSec = 31457280 ,指定DataNode用
2016-09-14 15:50:21
8536
原创 Linux下更改mysql5.1 数据目录datadir的方法
linux下，MySQL默认的数据文档存储目录为/var/lib/mysql 假如要把MySQL目录移到/home/data下需要进行下面几步：1、home目录下建立data目录mkdir /home/data2、把MySQL服务进程停掉：service mysqld stop3、把/var/lib/mysql整个目录移到/home/datacp -afir /
2016-09-14 10:36:55
5154
原创 hadoop2.0的datanode多存储硬盘设置数据副本存放策略
集群使用4块硬盘，目前集群中部分节点盘disk1使用率已经超90%，后期可能会出现问题。在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeCho
2016-09-13 14:48:18
3735
原创 升级ambari、HDP版本（ambari 2.1升级到2.4、HDP2.3升级到2.5）
官方升级版本说明http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/bk_ambari-installation/content/determine_stack_compatibility.html官方升级步骤http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/b
2016-09-07 17:14:37
9992
5
原创 linux下mysql的root密码忘记解决方法
1．首先确认服务器出于安全的状态，也就是没有人能够任意地连接MySQL数据库。因为在重新设置MySQL的root密码的期间，MySQL数据库完全出于没有密码保护的状态下，其他的用户也可以任意地登录和修改MySQL的信息。2．修改MySQL的登录设置：# vi /etc/my.cnf在[mysqld]的段中加上一句：skip-grant-tables例如：[mysqld]
2016-09-07 10:35:19
483
原创 kafka数据同步/镜像工具 kafka mirror maker
默认安装kafka后有个Kafka MirrorMaker服务，无法启动。2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker2016-08-05 15:20:50,356 ERROR kafka.tools.MirrorMaker$: Exception when starting
2016-09-05 15:52:46
2912
原创 CDH集成kafka方法实践
（本文以KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel和CDH5.5.1版本截图，最后出现兼容问题，将KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel换为KAFKA-0.8.2.0-1.kafka1.4.0.p0.56-el6.parcel就正常，请大家先查看版本兼容问题）参考CDH官网文档：http://www.cloudera.com/cont
2016-09-05 14:32:28
8134
1
Python深度学习（Deep Learning With Python中文版）
2018-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人