feilong2483

hive中执行的SQL，会转化为一个或多个mapReduce作业并在集群上运行。 1.创建表导入单词文本文件create table flwordcount(line string);load data inpath '/user/hadoop/input/readme.txt' overwrite into table flwordcount;命令查看：0: jdbc...

1.解压tar -zxvf /opt/hue-3.9.0-cdh5.8.0.tar.gz2. 编译安装    make apss    make install3.修改hue.ini# Hue configuration file# ===================================## For complete documentatio...

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。由于spark使用依赖scala.所以一起安装。 1.解压文件tar -zxvf /opt/spa...

sqoop主要是在关系型数据库与hadoop交互数据。作为hadoop的客户端工具。可安装在任一节点上，我安装在master上的。1.tar -zxvf /opt/sqoop-1.4.6-cdh5.8.0.tar.gz2.修改环境变量vi /etc/profile加入：export SQOOP_HOME=/opt/sqoop-1.4.6-cdh5.8.0export PA...

hbase也是基于HDFS的.本节还是安装完全分布模式。由于各个节点时间误差太多，hbase启动会失败。所以先前已经安装了NTP时间同步服务。 跟hive一样将/opt/hbase-1.2.0-cdh5.8.0.tar.gz解压tar -zxvf hbase-1.2.0-cdh5.8.0.tar.gz 1. 修改hbase-1.2.0-cdh5.8.0\conf下的hbase...

hive的安装。hive只是作为hadoop客户端，我安装在master节点上。1. 安装元数据库。默认的数据库为Derby. 生产中我们通常用其他数据库。因Derby只支持同时一个用户访问Hive. 下面用mysql来存储元数据。yum install mysqlyum install mysql-serveryum install mysql-devel   查看m...

1.下载列表：winow和linux之间文件上传下载FileZilla jdk-7u79-linux-x64.tar.gz apache-maven-3.3.9-bin.tar.gz hadoop-2.6.0-cdh5.8.0.tar.gz hadoop-native-64-2.6.0.tar hbase-1.2.0-cdh5.8.0.tar.gz hive-1...

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。既然是一个框架，围绕hadoop的周边产品非常的多。对于各中版本与hadoop是否兼容等，增加的安装复杂度。所以我选择CDH。由于cloudera开发了一个manager工具。用于集群自动化安装，部署，监控。我手动安装主要是熟悉环境，解决错误。理解原理。1.下载VMwa...

Mysql ERROR 1045 (28000): Access denied for user 'root'@'localhost'问题的解决这种问题需要强行重新修改密码，方法如下：/etc/init.d/mysql stop (service mysqld stop )/usr/bin/mysqld_safe --skip-grant-tables另外开个SSH连接...

ERROR [main] 2014-02-05 16:19:24,375 CassandraDaemon.java (line 478) Exception encountered during startupjava.lang.IllegalStateException: Unfinished compactions reference missing sstables. This shou...

1.准备软件 hadoop-2.6.0-cdh5.6.0.tar.gz2.jdk:/opt/jdk1.7.0_25---------------------------------------------------1.配置静态IP[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0...

NativeCodeLoader: Failed to load native-hadoop with error:      java.lang.UnsatisfiedLinkError解决：1.下载对应hadoop对应二进制文件。拷贝到当前HADOOP_HOME/lib/native/2.下载源文件重新编译...

[root@master engines]# ldd $(hadoop checknative)16/08/21 07:58:43 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...16/08/21 07:58:43 DEBUG util.NativeCodeLoader...

1.文件夹.ssh 700 和 authorized_keys 600 权限 2.如果是用root身份无密码登陆 PermitRootLogin yes3.重要一点如果遇到登录失败的情况：我用的是centos版本是6.5，centos6.5对网络管理相当严格，需要在原来的基础上关闭selinux, 到/etc/selinux/config下，把SELINUX=enforcing修...

java操作mysql异常Incorrect string value: '\xF0\x9F\x90\x98\xF0\x9F...' for column 'NICKNAME' at row 1解决方法：1.设置mysql配置：character-set-server = utf8mb4collation-server = utf8mb4_unicode_ci...

#define mysql info#mysql数据库的地址_db_host='-h192.168.1.1'#mysql的端口_db_port='-p3306'#mysql的登陆账号_db_user='-uroot'#mysql的密码_db_pass='-p1qazxsw2'#mysqlde db名字_db_database='-Dsampling'...

[root@mysqlmaster hadoop-2.7.2]# sbin/start-dfs.sh16/07/01 18:38:03 DEBUG util.Shell: setsid exited with exit code 016/07/01 18:38:03 DEBUG lib.MutableMetricsFactory: field org.apache.hadoop.metri...

hadoop 2.7.2 centos 6.5 安装过程中报GLIBC_2.14 not found查看系统的libc版本[hadoop@master001 native]$ ll /lib64/libc.so.6lrwxrwxrwx. 1 root root 12 Apr 14 16:14 /lib64/libc.so.6 -> libc-2.12.so显示版本为2.12...