whatspace-CSDN博客

转载 Hadoop全分布集群问题及配置

首先要让电脑之间能够访问别名配置hosts文件（只需要对主机192.168.18.129（hadoop1）进行操作，然后通过scp命令将这些配置分发给其他电脑即可）,但我全部都配置了操作192.168.18.129机器(主机)vi /etc/hosts 添加下面内容让电脑只有名字就知道是哪台，不一定要用IP 192.168.80.129 master 192.168.80.130 sla

2017-07-18 11:00:34 703

原创 Eclipse中配置hadoop开发环境

1.先将插件（一定要对应版本,我的是2.7.3）放在eclipse下的D:\eclipse\plugins下。2.将虚拟机里面或者下载的hadoop文件放在主机里面，比如D:/HADOOP/hadoop-2.7.3，将里面的三个配置文件和slave文件里面的localhost全部修改成虚拟机的IP地址 (我的这个是192.168.18.129)虚拟机里面的hadoop也和这边配置一样，所以

2017-07-18 10:57:36 498

原创 Hive如何将数据导出

如何从表中导出数据，如果数据文件与用户需要的格式一样的话：hadoop fs -cp ‘/user/neil/test’ ‘/home/neil/Downloads/test’否则使用insert ….Directory.. insert overwrite local directory ‘/tmp/ca_employees’ select name,salary,address from e

2017-07-18 10:56:06 370

转载 hadoop连接mysql数据库执行数据读写数据库操作

hadoop连接mysql数据库执行数据读写数据库操作为了方便 MapReduce 直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。运行MapReduce时候报错：jav

2017-07-18 10:55:28 860

转载 Sqoop安装配置教程

1.安装部署（1）、下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz 解压到／home/neil/Downloads/hadoop-2.7.3/sqoop-1.4.6 （2）、拷贝MySQL的jdbc驱动包mysql-connector-java-5.1.31-bin.jar到sqoop/lib目录

2017-07-18 10:54:38 484

原创如何以最快的速度了解并使用HIVE数据库

如何以最快的速度了解并使用HIVE数据库，下面将给出一个笔记（里面的一些术语如是不清楚，先去了解下hadoop语法后再来看这个会比较好）1.用hive命令开始服务，当然之前一定要开启hadoop服务然后关闭安全模式 2.创建表 create table hivetable (id int, user string, age int, tel s

2017-07-18 10:49:32 460

原创如果想研究hadoop，下面有一个用ECLIPSE运行HADOOP例子

如果想研究hadoop，下面有一个用ECLIPSE运行HADOOP例子，可以给大家参

2017-07-18 10:44:42 463

转载 SQL优化大全

SQL优化大全 1. 通过 show status和应用特点了解各种 SQL的执行频率通过 SHOW STATUS 可以提供服务器状态信息，也可以使用 mysqladmin extende d-status 命令获得。 SHOW STATUS 可以根据需要显示 session 级别的统计结果和 global级别的统计结果。如显示当前session： SHOW STA

2017-07-18 10:42:18 328

原创利用unbuntu在虚拟机下配置Linux与hadoop的环境

**利用unbuntu在虚拟机下配置Linux与hadoop的环境，并测试结果如题目，下面就是个人在研究大数据时的一些笔记**一.Linux环境 1.安装好unbuntu 2.首先安装更新 sudo apt-get update sudo apt-get upgrade 3.ssh安装 sudo apt-get install ssh4.开启免密码登录 ssh-ke

2017-07-18 10:40:36 539

原创如何配置eclipse访问虚拟机进行hadoop编程

最近研究了一下HADOOP，所以在LINUX上做一些配置后想测试编程，由于之前一直都用eclipse编写JAVA，所以研究了一下如何配置eclipse访问虚拟机进行编程，现将方法共享一下，(注：我用的是hadoop2.7.3,linux用的的是乌班图)

2017-07-18 10:33:01 786

原创 hibernate如何调用存储过程

一般我们用PL/SQL写好存储过程后，用JDBC调用的比较多，如何你想用hibernate,那怎么调用存储过程呢？下面我们来看看Hibernate调用Oracle的存储过程的几种方式1.先创建一个存储过程如下：create Procedure proc()begin select * from user;end; create procedu

2017-07-17 16:39:19 11874

原创 MYSQL如何开启远程访问连接HIVE

看到这个说明，有些小白可能会不太明白到底是什么意思？这里要提前说明一下，我们安装在自己电脑上的MYSQL一般测试用时，都用localhost来做连接，但如果让别人的电脑能够连接你安装的这个MYSQL服务器，你会发现默认是不行的，所以要开启远程访问，在此基础上，我们下面会以HIVE为基础，来看看如何操作HIVE与MYSQL之间的远程操作：操作步骤如下：1.开启MYSQL远程连接

2017-07-13 12:11:08 1798

WhatSpace的专栏