- 博客(49)
- 收藏
- 关注
RSS订阅原创 mysql 更改数据目录
用show variables like 'datadir'，可查看真正的data目录1、首先我们需要关闭MySQL，命令如下： service mysqld stop2、然后是转移数据，为了安全期间，我们采用复制的命令cp，先找到mysql的原目录 cd /var/lib ls 运行这个命令之后就会看到mysql的目录了，然后执行cp命令 cp -a...
2015-05-07 11:29:26
147
原创 yum 代理安装
yum的存在使centos上软件的安装、配置、升级、卸载变得十分的方便，但是当安装centos的机器是通过代理服务器访问外网的话，yum的使用就变得无从下手了，以下介绍以下怎样为yum配置代理地址及代理用户，使在代理上网的环境下亦能享受yum带来的方便，而不一定要去进行make & make install。用vi编辑器打开yum配置文件，一般情况下： vi /etc/yum...
2015-01-04 14:03:19
497
原创 FTP
1、安装vsftpd# yum install vsftpd 服务端# yum install ftp 客户端 2、启动vsftpd # service vsftpd start3、关闭防火墙# service iptables stop这个时候就可以匿名登录了4、关闭selinux# vi /etc/selinux/config 找到SELINUX=enforcing 改...
2014-11-04 13:13:36
125
原创 No Java compiler available
现在要做的就是添加apache ant的编译工具，不安装则会报错 Problem accessing /hwi/. Reason: No Java compiler available安装方法不做介绍了，网上很多。安装完后需要设置path：设置ANT_LIB路径 export ANT_LIB=/usr/lib/apache-ant-1...
2014-10-22 15:34:17
356
原创 Hive的运行模式即任务的执行环境
1 启动hive 命令行模式： 1：直接输入#/hive/bin/hive的执行程序， 2：或者输入 #hive --service cli2.hive验证启动的方法 1、hive web界面的(端口号9999) 启动方式 #hive --service hwi & 用于通过浏览器来...
2014-10-22 14:57:28
522
centos6.5 安装mysql5.6
yum install wgetwget http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpmrpm -ivh mysql-community-release-el6-5.noarch.rpmls -l /etc/yum.repos.d/mysql-community*yum install mysql...
2014-10-15 14:51:34
63
原创 centos7 修改主机名
在CentOS/RHEL 7中，有个叫hostnamectl的命令行工具，它允许你查看或修改与主机名相关的配置。要查看主机名相关的设置：$ hostnamectl status 只查看静态、瞬态或灵活主机名，分别使用“--static”，“--transient”或“--pretty”选项。$ hostnamectl status [--static|--trans...
2014-10-15 13:30:39
99
原创 linux时间服务器
一、时间概念：Linux时间有两个系统时间：也叫软件时间(sys)， 1970年1月1日到当前时间的秒数BOIS时间：也叫硬件时间(hc)显示时间：date; -------》（软件时间）hwclock -r --------》（硬件时间）设置时间:没有网络的情况下可以用这个date -s 20121019 date -s 23:40:00 ...
2014-09-15 10:40:19
142
原创 vboxmanage
vboxmanage hostonlyif create ipconfig centos03 --ip 192.168.56.1 --netmask 255.255.255.0 vboxmanage hostonlyif remove centos01
2014-07-14 12:16:06
261
原创 CentOS 6.4 安装mysql-5.6.12-linux-glibc2.5-i686
1.解压缩mysql-5.6.12-linux-glibc2.5-i686.tar.gz 命令：tar zxvf mysql-5.6.12-linux-glibc2.5-i686.tar.gz mv mysql-5.6.12-linux-glibc2.5-i686/ /opt/mysql2.准备并安装 进入/opt/mysql目录后，运行命令...
2014-06-30 12:05:11
62
原创 flume 命令
flume-ng agent -n a1 -c conf -f source_netcat-sink_logger.propertiestelnet localhost 44444 flume-ng agent -n a1 -c conf -f source_avro-sink_filerole.propertiesflume-ng avro-client -H...
2014-05-08 18:53:02
70
原创 Hadoop 2.2 and Flume 1.4 Protobuf Problem and Solution
Hadoop 2.2 uses protobuf 2.5 for its RPC, and Flume loads its older packaged version of protobuf ahead of Hadoop’s, which causes this error. To fix this you’ll need to move both protobuf and guava ou...
2014-05-08 18:41:56
117
原创 分割文件
按照指定大小分割 ，并指定分割后的文件前缀，使用-d选项可以指定后缀为数字 例如命令：split -b=500M -d 20130801.csv datafile结果：datafile00datafile01datafile02datafile03 ...
2014-04-26 10:32:28
71
原创 spark Transformations，Actions
val result = textFile.flatMap(line => line.split("\\s+")) .map(word => (word, 1)).reduceByKey(_ + _)
2014-04-22 11:23:57
71
原创 Linux下*.tar.gz文件解压缩命令
1.压缩命令： 命令格式：tar -zcvf 压缩文件名.tar.gz 被压缩文件名 可先切换到当前目录下。压缩文件名和被压缩文件名都可加入路径。 2.解压缩命令： 命令格式：tar -zxvf 压缩文件名.tar.gz 解压缩后的文件只能放在当前的目录。...
2014-04-19 11:03:26
62
原创 hbase 表备份
hbase自带的备份恢复工具hbase org.apache.hadoop.hbase.mapreduce.Export 'table1' /home/fred/table1 (hdfs路径)hbase org.apache.hadoop.hbase.mapreduce.Import 'table1' /home/fred/table1 (hdfs路径)导入时必须先创建表结构。 ...
2014-04-19 10:51:50
94
原创 centos 安装mysql
//安装mysql客户端yum install mysql//安装mysql 服务器端yum install mysql-serveryum install mysql-devel mysql配置文件/etc/my.cnf中加入default-character-set=utf8在[client]下添加default-character-set=utf8在...
2014-03-27 16:50:36
66
原创 TypeError: rpmdb open failed
无法用yum安装，错误如下TypeError: rpmdb open failed解决办法是因为RPM数据库出现损坏导致的，它导致所有的软件的升级、安装甚至是删除都会出现问题，终端出现乱码，YUMEX也用不成，RPM命令也用不成。原因是RPM数据库被破坏，解决方法如下：$ su 切换到root权限# cd /var/lib/rpm/# for i i...
2014-03-10 16:04:02
127
原创 ambari
安装ambari 前置步骤: centos6.5 关闭iptables; 关闭SELinux; # yum clean all# yum update openssl vim /etc/resolv.confnameserver 8.8.8.8 id_rsa
2014-03-06 17:22:34
68
原创 UM安装东西提示PYCURL ERROR 6 - ＂Couldn't错误的解决办法
echo "nameserver 8.8.8.8" > /etc/resolv.conf
2014-03-06 11:57:31
143
原创 关闭防火期
Linux下开启/关闭防火墙命令 1) 永久性生效，重启后不会复原开启： chkconfig iptables on关闭： chkconfig iptables off2) 即时生效，重启后复原开启： service iptables start关闭： service iptables stop...
2014-03-04 15:18:12
76
原创 ssh 配置
SSH 无密 码原理简介 :首先在 hadoop1 上生成一个密 钥对，包括一个公钥和一个私钥，并将公钥复制到所有的 slave(hadoop2-hadoop4) 上。然后当 master 通 过 SSH 连接 slave 时， slave 就会生成一个随机数并用 master 的公 钥对随机数进行加密，并发送给 master 。最后 master 收到加密数之后再用私 钥解密，并将...
2014-03-04 15:00:29
57
原创 centos和redhat6.0后关于虚拟机克隆后无法启用网卡问题
centos—>删除这个 /etc/udev/rules.d/70-persistent-net.rules，重启后把这个文件里NAME="eth1"的eth1改成eth0，同时也要修改ATTR{address}里的mac地址和/etc/sysconfig/network-scripts/ifcfg-eth0文件mac地址一致。...
2014-02-06 17:28:00
46
原创 centos 6.4 安装jdk
1.先看看OpenJDK的安装包 $ rpm -qa |grep javatzdata-java-2013b-1.el6.noarchjava-1.6.0-openjdk-1.6.0.0-1.61.1.11.11.el6_4.x86_64java-1.7.0-openjdk-1.7.0.19-2.3.9.1.el6_4.x86_64 2.检查OpenJDK版本$ java -v...
2014-02-06 16:30:44
45
原创 linux 下查找文件或者内容常有命令
whereis <程序名称>查找软件的安装路径-b 只查找二进制文件-m 只查找帮助文件-s 只查找源代码-u 排除指定类型文件-f 只显示文件名-B <目录> 在指定目录下查找二进制文件-M <目录> 在指定目录下查找帮助文件-S <目录> 在指定目录下查找源代码locate <文件名称>在文件索引数据库中搜索文件-d <数据库路...
2013-12-10 16:59:37
42
原创 分析和优化云集群性能
http://blog.csdn.net/azhao_dn/article/details/7091603 http://blog.csdn.net/wf1982/article/details/6572073
2013-10-31 17:04:04
70
原创 DistributedCache In Hadoop
分布式缓存在MapReduce中称之为DistributedCache，它可以方便map task之间或者reduce task之间共享一些信息，同时也可以将第三方包添加到其classpath路径中去。Hadoop会将缓存数据分发到集群的所有准备启动的节点上，复制到在mapred.temp.dir中配置的目录。 2、DistributedCache的使用DistributedC...
2013-10-29 11:47:39
108
原创 hadoop中mapred.tasktracker.map.tasks.maximum的设置
通过把一部分log已经迁移到Hadoop集群上并由Hive来执行相关的查询hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2也即：每一个tasktracker同时运行的map任务数为2照此默认设置，查询80天某用户的操作日志，耗时5mins, 45sec经过测试，发现将mapred.tasktracker.map.task...
2013-10-21 22:00:04
118
原创 ubuntu 时间设置
sudo dpkg-reconfigure tzdata 设置时区sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 保存设置系统时间与网络时间同步sudo ntpdate 210.72.145.44sudo hwclock --systohc 将系统时间写入硬件时间 ...
2013-10-18 12:02:36
85
原创 ubuntu和windows时间不同步的问题解决 双系统安装
在安装完Windows和Ubuntu双系统之后，经常会遇到时间不同步的问题。如果在ubuntu中更改了系统时间，Windows下的系统时间就不正确了，这个问题如何解决呢？ 原因：Ubuntu（我不太清楚其它linux发行版是否一样）默认BIOS中存储的时间格式为UTC时间，即是协调世界时，而中国大陆采用ISO 8601-1988的《数据元和交换格式信息交换日期和时间表示法》（GB/T ...
2013-10-18 10:44:30
60
原创 ubuntu apt-get 错误 Temporary failure resolving 'us.archive.ubuntu.com' 解决
原因是dns没有配置，解决办法 加入dns服务器地址，比如：vi /etc/resolv.conf nameserver 202.96.134.133nameserver 8.8.8.8
2013-10-17 16:41:08
267
原创 hadoop命令
hadoop fsck /wordcount -files -blocks -locations 查看一个文件在hdfs上的方便情况
2013-10-13 16:31:27
77
原创 Hive优化
hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000：hive.limit.optimize.limit.file=10：最大文件数1. 本地模式(小任务)：需要满足以下条件： 1.job的输入...
2013-10-09 19:47:42
67
原创 Redis:BGSAVE时报错，error(ERR)
现象：重启redis时没有用root用户，结果dump.rdb文件停止更新，bgsave命令报错(error) ERR 原因：1.dump.rdb文件所在的文件夹权限没有开通，导致dump.rdb文件停止更新，此时修改redis数据时会报错，原因是默认配置 stop-writes-on-bgsave-error yes，当bgsave出错时数据将不能修改redis，如下操作后可以更...
2013-10-07 10:07:45
1943
原创 ubuntu apt-get 错误 Temporary failure resolving 'us.archive.ubuntu.com' 解决
原因是dns没有配置，解决办法 加入dns服务器地址，比如：vi /etc/resolv.conf nameserver 202.96.134.133nameserver 8.8.8.8
2013-09-10 11:55:12
494
原创 创建表空间
/*分为四步 *//*第1步：创建临时表空间 */create temporary tablespace user_temp tempfile 'D:\oracle\oradata\Oracle9i\user_temp.dbf' size 50m autoextend on next 50m maxsize 20480m extent management ...
2013-08-29 10:50:46
51
oracle 命令
可通过“lsnrctl status”命令查看监听启动情况，“lsnrctl start”(lsnrctl stop)可开启或关闭监听，命令“netca”可启动Net Configuration Assistant，“dbca”可启动Database Configuration Assistant。 ...
2013-08-29 10:18:28
68
原创 pig学习笔记
Hadoop Pig学习笔记(一) Pig简介这节总结Pig语言的方方面面。Pig是一种探索大规模数据集的脚本语言。pig是在HDFS和MapReduce之上的数据流处理语言，它将数据流...
2013-07-01 17:16:01
271
原创 使用Apache Pig时应该注意/避免的操作或事项
Apache Pig是用来处理大规模数据的高级查询语言，配合Hadoop使用，可以在处理海量数据时达到事半功倍的效果，比使用Java，C++等语言编写大规模数据处理程序的难度要小N倍，实现同样的效果的代码量也小N倍。本文基于以下环境： pig 0.8.1文章来源：http://www.codelast.com/（1）CROSS操作 由于求交叉积可能会导致结果数据量暴增，因此，CROSS操作是...
2013-06-04 17:02:45
70
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人